Engenheiro(a) de Dados Pleno PJ REMOTO (Airflow | Spark | Python | SQL)

DataBuild Data&Decision Science; Brasil; On-site; BRL 180,000 - 240,000; Full time

Job summary

A DataBuild Data&Decision Science procura Engenheiro de Dados para desenhar e evoluir pipelines de dados, com foco em qualidade, observabilidade e escalabilidade. O profissional atuará com Airflow, Spark/PySpark, Python e SQL em ambientes enterprise, com colaboração próxima a times de Data Science, Analytics e Produto.

O papel envolve trabalhar com Databricks, governança de dados, e melhores práticas de engenharia, incluindo CI/CD e revisão de código, em um contexto de crescimento acelerado no

Qualifications

• Experiência prática com Apache Airflow em produção: criação/manutenção de DAGs, operators, sensors e hooks, agendamento, retries, backfill e troubleshooting
• Spark / PySpark sólido com transformações, otimização e I/O eficiente
• Python aplicado à engenharia de dados ( ingestão, integração com APIs, transformação e testes)
• SQL forte com joins, CTEs, window functions, modelagem e performance
• Noções claras de modelagem e governança de dados
• Diferenciais: Databricks Jobs/notebooks/clusters, Delta Lake, Unity Catalog; Airflow gerenciado/Kubernetes; cloud (Azure/AWS/GCP); streaming (Kafka, Spark Structured Streaming)

Responsibilities

• Construir e evoluir pipelines de dados (batch e near real-time)
• Orquestrar workflows com Airflow: DAGs resilientes, idempotentes, com dependências, retries e backfills
• Desenvolver e otimizar processamento distribuído com Spark (PySpark) em Databricks
• Trabalhar com Python e SQL para ingestão, transformação e validação
• Implementar qualidade de dados, monitoramento/alertas, logs e observabilidade
• Colaborar com Data Science, Analytics e Produto
• Documentar decisões e apoiar padrões de engenharia (Git, CI/CD, code review)

Skills

Airflow

Spark / PySpark

Python

SQL

Governança de dados

Tools

Databricks

MWAA / Kubernetes Airflow

Cloud (Azure / AWS / GCP)

dbt

Kafka / Spark Streaming

Job description

Tarefas e Responsabilidades

Somos uma consultoria de Ciência de Dados e Engenharia de Dados em forte crescimento e estamos ampliando o time para tocar projetos grandes, complexos e com impacto real.

Aqui, IA não é “conceito”: entra no dia a dia em automações, pipelines, observabilidade, qualidade e produtividade, sempre com foco em robustez e escala para clientes enterprise.

Se você curte construir coisas que rodam de verdade — com dados chegando no horário, orquestração confiável, governança, performance e rastreabilidade — vem com a gente.

O que você vai fazer

• Construir e evoluir pipelines de dados (batch e, quando necessário, near real-time)
• Orquestrar workflows com Apache Airflow: DAGs resilientes, idempotentes e fáceis de manter, com dependências, retries e backfills bem resolvidos
• Desenvolver e otimizar processamento distribuído com Spark (PySpark), em ambientes como Databricks
• Trabalhar com Python e SQL para ingestão, transformação e validação
• Implementar qualidade de dados, monitoramento/alertas, logs e observabilidade
• Colaborar com times de Data Science, Analytics e Produto
• Documentar decisões e apoiar padrões de engenharia (Git, CI/CD, code review)

Requisitos

• Experiência prática com Apache Airflow em produção: criação e manutenção de DAGs, operators, sensors e hooks, agendamento, retries, backfill e troubleshooting de execuções
• Spark / PySpark sólido (transformações, otimização, leitura/escrita eficiente)
• Python aplicado à engenharia de dados (ingestão, integração com APIs, transformação e testes)
• SQL forte (joins, CTEs, window functions, modelagem e performance)
• Noções claras de modelagem e governança de dados
• Diferenciais: Databricks (Jobs, notebooks, clusters, Delta Lake/arquitetura medallion, Unity Catalog), operação de Airflow gerenciado ou em Kubernetes (MWAA, Cloud Composer, Astronomer), cloud (Azure, AWS ou GCP), dbt e streaming (Kafka, Spark Structured Streaming)

O que você encontra aqui

• Projetos desafiadores com grandes empresas e dados de verdade
• Ambiente de crescimento acelerado, com espaço para protagonismo e evolução
• Cultura de time: colaboração, autonomia, entrega e qualidade
• Stack moderna, com incentivo real à automação e boas prática