Technology Lead Data Engineer Databricks Br

Decision Group; São Paulo; On-site; BRL 167,000 - 290,000; Full time

Job summary

A Decision group está recrutando Engenheiro de Dados Sênior para liderar a migração do DW legado para o Lakehouse com Databricks em São Paulo. O papel exige domínio de PySpark, Python, SQL e Delta Lake, com experiência em pipelines batch, CDC/ETL e arquitetura bronze/silver/gold.

Você trabalhará integrando dados em AWS e Azure Synapse, otimizando pipelines, testando reconciliação de dados e contribuindo para a documentação técnica do projeto.

Qualifications

• Engenheiro(a) de Dados com atuação em migração de DW para lakehouse Databricks.
• Transferência de regras de negócio para pipelines em PySpark e Spark SQL sem lift-and-shift.
• Experiência com construção de pipelines batch em grande escala, testes e boas práticas de engenharia.

Responsibilities

• Reconstruir pipelines DW legado em Databricks (PySpark / Spark SQL) em arquitetura bronze/silver/gold.
• Implementar ingestões CDC/batch com padrões de lakehouse e reconciliação de dados.
• Otimizar performance e custos, com particionamento e estratégias de uniknow ou Z-ORDER.
• Contribuir com documentação técnica e apoiar waves de migração por domínio.

Skills

PySpark

Python

SQL

Delta Lake

Databricks

Spark SQL

CI/CD

Git

Education

Databricks Certifications (Data Analyst Associate, Data Engineer Associate)

Tools

AWS

S3

Glue

EMR

Athena

Lambda

DMS

Step Functions

Azure Synapse

Job description

Nível Acadêmico: Ensino Superior Completo Turno/Horas -- Áreas de Atuação Profissional: TI - Projetos Descrição: Job RoleTechnology Lead - Brazil CountryBrazil State / Region / ProvinceSao Paulo Work LocationSao Paulo UNITGDLY Practice UnitBRZDELY Habilidades: Job DescriptionInfosys Brasil está em busca de profissionais com o perfil de Engenheiro(a) de Dados Sr - Migração e Modernização DW - Databricks para juntar-se ao nosso time. Qualificações requeridas: Buscamos um(a) Engenheiro(a) de Dados para o programa de migração do DW legado para o Enterprise Lakehouse Databricks, com a missão de reconstruir os pipelines hoje implementados em DataStage e Azure Synapse sem lift-and-shift. A partir da engenharia reversa dos jobs atuais. Será responsável por reimplementar os pipelines nativamente em PySpark e Spark SQL sobre a arquitetura medalhão (bronze/silver/gold), executando as waves de reconstrução por domínio com reconciliação e paridade contra o DW legado até o cutover. Requsitos Mandatórios: PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia. SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW. Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles. Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais. Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions. Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa. Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado novo para aceite de paridade. Git e CI/CD aplicados a pipelines de dados. Certificações Databricks (Data Analyst Associate, Data Engineer Associate). Requisitos Desejáveis: Conhecimento de DataStage (leitura de jobs para engenharia reversa) diferencial importante. Experiência prévia em programas de migração de DW para lakehouse diferencial importante. Unity Catalog (permissões, lineage) e contratos de dados. Experiência no mercado financeiro ou de crédito. Principais atividades e responsabilidades: Reconstruir os pipelines do DW legado em Databricks (PySpark / Spark SQL), a partir das especificações geradas pela engenharia reversa. Implementar as camadas bronze, silver e gold seguindo o template medalhão, os padrões de ingestão (CDC/batch) e o padrão de reconstrução definidos pelo projeto. Executar as waves de reconstrução por domínio, em coexistência com o DW legado até o cutover. Implementar regras de negócio e transformações com testes automatizados nos pipelines. Realizar a reconciliação e a validação de paridade dos dados entre o DW legado e o Lakehouse. Otimizar performance e custo dos pipelines (particionamento, OPTIMIZE/Z-ORDER, dimensionamento de jobs). Contribuir com a documentação técnica das regras migradas e apoiar a priorização das waves.

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Engenheiro de sistemas (software)

Empresa:

Decision group

Atua com consultoria de mão de obra de serviços de tecnologia.

Ramo:

Recursos Humanos/ Recrutamento e seleção

(EC)