Engenheiro (a) de Dados Sênior (Data Architecture)

Winnin; São Paulo; Presencial; BRL 180 000 - 240 000; Tempo integral

Resumo da oferta

A Craf Tech está buscando engenheiro(a) de dados para atuar na execução de pipelines de ingestão e transformação, usando Airflow e dbt sobre um data warehouse. O profissional definirá modelos de dados, padrões de distribuição e governança para assegurar qualidade e conformidade com LGPD.

Você trabalhará com equipes multidisciplinares para entregar soluções de alta performance, observabilidade e compliance, contribuindo para o crescimento da empresa e o impacto de seus ativos de dados.

Qualificações

• Experiência com pipelines de ingestão e transformação em Airflow e dbt.
• Conhecimento de modelagem de dados e Data Vault ou híbrido.
• Entendimento de padrões de particionamento, distribuição e performance em Redshift.

Responsabilidades

• Projetar, construir e manter pipelines de ingestão em Airflow com padrões de retry e SLA.
• Desenvolver modelos de transformação em dbt sobre o data warehouse com camadas staging/intermediate/marts.
• Implementar ingestões de fontes heterogêneas: bancos, APIs, arquivos regulatórios e planilhas.
• Instrumentar observabilidade de dados: freshness, volumetria e reconciliação origem-destino.
• Definir modelo de dados do warehouse com SCD e historização.
• Definir padrões de distribuição e particionamento (DISTKEY/SORTKEY) e garantir uso.
• Desenhar contratos de dados entre equipes e governança de dados.
• Conduzir tuning de performance e custo (planos, WLM, VACUUM/ANALYZE).
• Avaliar tecnologias com trade-offs de custo e saída de dados.

Conhecimentos

Apache Airflow

dbt

Data warehouse

Redshift

ETL pipelines

Data modeling

Observability

Data governance

LGPD compliance

Ferramentas

SQL

ETL tools

Descrição da oferta de emprego

A Craf Tech é uma empresa de tecnologia especializada em conectar talentos a grandes desafios, impulsionando transformação e inovação por meio de pessoas.

Acreditamos que ambientes diversos e colaborativos geram melhores ideias, relações mais saudáveis e resultados mais consistentes. Por isso, valorizamos diferentes trajetórias, experiências e perspectivas, promovendo um espaço respeitoso, inclusivo e acolhedor para todas as pessoas.

Mais do que desenvolver soluções em tecnologia, buscamos criar oportunidades para crescimento, troca de conhecimento e impacto real por meio da inovação.

Se você procura um ambiente para evoluir, contribuir e construir o futuro junto com a gente, queremos conhecer você

Se você se identifica com este desafio, confira as principais responsabilidades da vaga:

Engenharia de dados (execução)

• Projetar, construir e manter pipelines de ingestão e transformação orquestrados em Apache Airflow, com padrões consistentes de retry, idempotência, alerta e SLA.
• Desenvolver e evoluir modelos de transformação em dbt sobre o data warehouse, organizando as camadas (staging → intermediate → marts) com testes e documentação.
• Implementar ingestões de fontes heterogêneas: bancos transacionais, APIs de terceiros (custodiantes, distribuidores, provedores de mercado), arquivos regulatórios e planilhas operacionais.
• Instrumentar observabilidade dos dados: freshness, volumetria, quebras de contrato, reconciliação entre origem e destino.
  

Arquitetura e modelagem

• Definir e defender o modelo de dados do warehouse (dimensional, Data Vault ou híbrido — com justificativa), incluindo chaves, granularidade, historização (SCD) e tratamento de correções retroativas.
• Estabelecer padrões de distribuição, ordenação e particionamento no MPP (DISTKEY, SORTKEY, compressão em Redshift; equivalentes em outras engines) e garantir que sejam seguidos.
• Fazer o desenho de camadas e contratos de dados entre times: o que é fonte da verdade, quem pode escrever onde, o que é exposto para BI e o que é interno.
• Conduzir tuning de performance e custo: análise de planos, filas/WLM, concorrência, manutenção (VACUUM/ANALYZE ou equivalente), rewrite de queries e materializações.
• Avaliar e recomendar tecnologias (formatos de tabela, lakehouse, streaming, catálogo, ferramentas de qualidade) com análise de trade-off explícita, incluindo custo e custo de saída.
  

Governança, qualidade e regulatório

• Implementar controles de qualidade automatizados e reconciliações que sustentem números usados em relatórios a clientes e em respostas a reguladores.
• Garantir linhagem e rastreabilidade ponta a ponta: de um número no painel até a origem e a versão do código que o produziu.
• Aplicar controles de acesso, segregação por sensibilidade e conformidade com LGPD e com as normas aplicáveis ao setor (CVM, BACEN, BSM, políticas internas de compliance).
• Documentar decisões arquiteturais (ADRs) e manter o dicionário de dados vivo.