Technology Lead (Data Engineer Databricks) - 154045Br

Decision Group; São Paulo; On-site; BRL 300,000 - 550,000; Full time

Job summary

Infosys Brasil está buscando um Engenheiro(a) de Dados Sênior para liderar a migração e modernização de pipelines DW para o Lakehouse com Databricks. A posição envolve reconstrução de pipelines legados, em um ambiente multinuvem, com foco em qualidade de dados e governança.

O profissional deverá reimplement ar pipelines nativamente em PySpark/Spark SQL, com ênfase nas camadas bronze/silver/gold e testes automatizados, trabalhando junto a clientes financeiros.

Qualifications

• Engenheiro(a) de Dados com atuação em migração de DW legado para lakehouse Databricks.
• Condução de engenharia reversa de jobs atuais para Spark/PySpark.

Responsibilities

• Reconstruir pipelines do DW legado em Databricks (PySpark/Spark SQL).
• Implementar camadas bronze, silver e gold seguindo o template medalhão.
• Conduzir waves de reconstrução por domínio com CDC/batch e paridade com DW legado.
• Realizar reconciliação e validação de dados entre DW legado e Lakehouse.
• Otimizar performance e custo dos pipelines; documentar regras migradas.
• Apoiar priorização das waves e manter padrões CI/CD.

Skills

PySpark

Python

SQL

Databricks

Delta Lake

AWS

Azure Synapse

Git/CI-CD

Testing

Tools

Databricks

Delta Lake

Azure Synapse

AWS

DataStage

Git

Job description

Descrição:

Job RoleTechnology Lead - Brazil
Country Brazil
State / Region / Province Sao Paulo
Work Location Sao Paulo
UNIT GDLY
Practice Unit BRZDELY

Habilidades

Job Description Infosys Brasil está em busca de profissionais com o perfil de Engenheiro(a) de Dados Sr - Migração e Modernização DW - Databricks para juntar-se ao nosso time.

Qualificações requeridas

Buscamos um(a) Engenheiro(a) de Dados para o programa de migração do DW legado para o Enterprise Lakehouse Databricks, com a missão de reconstruir os pipelines hoje implementados em DataStage e Azure Synapse — sem lift-and-shift. A partir da engenharia reversa dos jobs atuais. Será responsável por reimplementar os pipelines nativamente em PySpark e Spark SQL sobre a arquitetura medalhão (bronze/silver/gold), executando as waves de reconstrução por domínio com reconciliação e paridade contra o DW legado até o cutover.

Requisitos Mandatórios

• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.


• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.


• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.


• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.


• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.


• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.


• Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade.


• Git e CI/CD aplicados a pipelines de dados.


• Certificações Databricks (Data Analyst Associate, Data Engineer Associate).

Requisitos Desejáveis

• Conhecimento de DataStage (leitura de jobs para engenharia reversa) — diferencial importante.


• Experiência prévia em programas de migração de DW para lakehouse — diferencial importante.


• Unity Catalog (permissões, lineage) e contratos de dados.


• Experiência no mercado financeiro ou de crédito.

Principais atividades e responsabilidades

• Reconstruir os pipelines do DW legado em Databricks (PySpark / Spark SQL), a partir das especificações geradas pela engenharia reversa.


• Implementar as camadas bronze, silver e gold seguindo o template medalhão, os padrões de ingestão (CDC/batch) e o padrão de reconstrução definidos pelo projeto.


• Executar as waves de reconstrução por domínio, em coexistência com o DW legado até o cutover.


• Implementar regras de negócio e transformações com testes automatizados nos pipelines.


• Realizar a reconciliação e a validação de paridade dos dados entre o DW legado e o Lakehouse.


• Otimizar performance e custo dos pipelines (particionamento, OPTIMIZE/Z-ORDER, dimensionamento de jobs).


• Contribuir com a documentação técnica das regras migradas e apoiar a priorização das waves.