Engenheiro de Dados Sênior

4DF Connect; São Paulo; Presencial; BRL 260 000 - 360 000; Tempo integral

Resumo da oferta

A 4DF Connect busca um Engenheiro de Dados Sênior para liderar iniciativas de dados em escala nacional. Você será referência técnica, conduzindo revisões de código com foco em correção, custo e manutenibilidade, além de aplicar engenharia suportada por IA com guardrails e rastreabilidade.

É essencial ter experiência sólida em SQL, Python, Databricks e modelagem de dados, incluindo governança, qualidade e observabilidade ao longo de todo o pipeline.

Qualificações

• Sólidos conhecimentos em SQL e Python aplicados ao ciclo de dados, da ingestão ao serving.
• Experiência hands-on com Databricks em produção, notebooks, jobs e PySpark.
• Domínio em modelagem de dados, incluindo dimensional, slowly changing dimensions e arquitetura em camadas (medallion).

Responsabilidades

• Definir regras de fonte única da verdade e lógica de sobrevivência para dados de licenças, escrituras e dados fiscais.
• Reconciliar fontes de terceiros e implementar observabilidade para detectar desvios.
• Atuar como steward de modelos de dados, aterrissando novas fontes e evoluindo modelos conforme necessidade.
• Garantir qualidade de dados ponta a ponta: testes, monitoramento, alertas, lineage e análise de causa raiz de incidents.
• Conduzir análises para roadmap, priorizando aquisições de fontes e datasets com impacto comercial.
• Levar modelos de ciência de dados a produção, definindo contratos de dados e monitoramento de drift.
• Contribuir como referência técnica em revisões de código e trade-offs de arquitetura.
• Aplicar engenharia assistida por IA com guardrails e rastreabilidade.

Conhecimentos

SQL

Python

Databricks

PySpark

Data modeling

Data quality

Observability

CI/CD

AI-assisted engineering

Data governance

Ferramentas

dbt

Airflow

Databricks Workflows

Delta Lake

GitHub Actions

Terraform

Descrição da oferta de emprego

Sobre a vaga

Buscamos um Engenheiro de Dados Sênior para liderar tecnicamente iniciativas de dados em escala nacional. Esta posição tem como foco central a resolução de entidades, governança de dados mestres e reconciliação de fontes de terceiros, garantindo a qualidade e observabilidade dos dados em toda a cadeia produtiva.

Você será referência técnica para o time, conduzindo revisões de código com foco em correção, custo e manutenibilidade, além de aplicar engenharia assistida por IA com guardrails e rastreabilidade.

Principais responsabilidades

• Definir regras de fonte única da verdade, lógica de sobrevivência, identificadores estáveis e overrides manuais para dados de licenças, escrituras, registros fiscais e dados comerciais.
• Reconciliar fontes de terceiros conflitantes em escala nacional e implementar observabilidade para detectar desvios na lógica.
• Atuar como steward de modelos de dados, aterrissando novas fontes e evoluindo modelos quando deixarem de atender às necessidades.
• Garantir qualidade de dados ponta a ponta: testes, monitoramento, alertas, lineage e análise de causa raiz de incidentes.
• Conduzir análises que orientem o roadmap, priorizando aquisições de fontes e datasets com base no impacto comercial.
• Colocar modelos de ciência de dados em produção, definindo contratos de dados e monitoramento de drift.
• Ser referência técnica do time em revisões de código e trade-offs de arquitetura.
• Aplicar engenharia assistida por IA com agentes, mantendo guardrails e rastreabilidade.

O que buscamos

• SQL e Python sólidos aplicados em todo o ciclo de vida dos dados, da ingestão ao serving.
• Experiência hands-on com Databricks em produção: notebooks, jobs, workflows, Delta Lake e PySpark.
• Profundidade em modelagem de dados: dimensional, slowly changing dimensions, definição de grain e arquitetura em camadas como medallion.
• Experiência com resolução de entidades e reconciliação de dados.
• Conhecimento em qualidade e observabilidade de dados: testes, monitoramento, alertas e lineage.
• Familiaridade com frameworks de transformação e orquestração como dbt, Airflow e Databricks Workflows, com version control e CI/CD.
• Experiência com data products alimentando aplicações em produção, além de traduzir perguntas de negócio ambíguas em métricas acionáveis.

Diferenciais

• Arquitetura de data products orientada a domínios em lakehouse.
• Arquiteturas de IA aplicadas a dados: pipelines para RAG, MCP para acesso padronizado por agentes e qualidade em sistemas agentic não determinísticos.
• Ecosistema avançado Databricks: Unity Catalog e Delta Live Tables.
• Governança de dados: controle de acesso, catalogação e lineage.
• MLOps avançado: model serving, monitoramento de drift e workflows de retreinamento.

Stack tecnológico

Python, SQL, PySpark, Databricks, Delta Lake, dbt, AWS, Terraform, Postgres, GitHub Actions e agentes de IA no dia a dia do desenvolvimento.