Engenheiro de Dados

Lifetime; São Paulo; Presencial; BRL 120 000 - 190 000; Tempo integral

Resumo da oferta

Lifetime procura um engenheiro de dados para projetar, desenvolver e otimizar pipelines com ADF, Databricks e Spark, assegurando qualidade, performance e observabilidade. O cargo envolve construção de pipelines ETL/ELT, modelagem de dados para consumo analítico e implementação de padrões de governança.

Você apoiará profissionais juniores, participará de discussões arquiteturais e contribuirá para a evolução da plataforma de dados, com foco em Lakehouse, Delta Lake e monitoramento de desempenho,

Qualificações

• Experiência com Azure Data Factory (ADF) e/ou Databricks.
• Experiência sólida em SQL.
• Experiência com Python.
• Experiência com Spark.
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento de Data Lakes e Git.
• Diferenciais: arquitetura Lakehouse.
• Conhecimento em Delta Lake.
• Conhecimento em governança e qualidade de dados.
• Experiência com monitoramento e observabilidade.

Responsabilidades

• Projetar, desenvolver e otimizar pipelines de dados utilizando ADF e Databricks.
• Desenvolver soluções de processamento distribuído utilizando Spark.
• Implementar processos ETL/ELT de média e alta complexidade.
• Modelar estruturas de dados para consumo analítico.
• Garantir qualidade, performance e observabilidade dos pipelines.
• Realizar troubleshooting e otimização de consultas SQL.
• Participar da definição de padrões e boas práticas de engenharia de dados.
• Apoiar profissionais juniores e conduzir revisões técnicas.
• Participar de discussões arquiteturais e evolução da plataforma de dados.

Conhecimentos

SQL

Python

Spark

Azure Data Factory

Databricks

Delta Lake

Data Lakes

Git

Governança de dados

Observabilidade

Monitoramento

Descrição da oferta de emprego

Descrição das atividades:

• Projetar, desenvolver e otimizar pipelines de dados utilizando ADF e Databricks.
• Desenvolver soluções de processamento distribuído utilizando Spark.
• Implementar processos ETL/ELT de média e alta complexidade.
• Modelar estruturas de dados para consumo analítico.
• Garantir qualidade, performance e observabilidade dos pipelines.
• Realizar troubleshooting e otimização de consultas SQL.
• Participar da definição de padrões e boas práticas de engenharia de dados.
• Apoiar profissionais juniores e conduzir revisões técnicas.
• Participar de discussões arquiteturais e evolução da plataforma de dados.

Requisitos necessários:

• Obrigatórios Experiência com Azure Data Factory (ADF) e/ou Databricks.
• Experiência sólida em SQL.
• Experiência com Python.
• Experiência com Spark.
• Experiência na construção de pipelines ETL/ELT.
• Conhecimento de Data Lakes Experiência com Git.
• Diferenciais Experiência com arquitetura Lakehouse.
• Conhecimento em Delta Lake.
• Conhecimento em governança e qualidade de dados.
• Experiência com monitoramento e observabilidade.

Competências esperadas

• Autonomia para conduzir entregas.
• Capacidade de propor melhorias técnicas.
• Comunicação clara com áreas de negócio e tecnologia.
• Perfil analítico e orientado à solução de problemas.