Engenheiro(a) de Dados Sr

Decision; Brésil; À distance; BRL 180 000 - 320 000; Plein temps

Résumé du poste

Decision procura Engenheiro(a) de Dados Sênior para atuação remota, contrato CLT, integrando programa de migração do DW legado para lakehouse Databricks. o foco é reimplementar pipelines em PySpark/Spark SQL e reconciliação com o DW existente, sem lift-and-shift.

O profissional vai liderar a engenharia reversa de jobs atuais, migrando regras de negócio para Spark e apoiando rotação de waves por domínio com governança de qualidade de dados e integração com AWS/Azure.

Qualifications

• PySpark e Python avançados com pipelines batch em escala.
• SQL avançado e modelagem de dados em DW.
• Databricks e Delta Lake com produção e arquitetura bronze/silver/gold.
• Migração de ETL legados para Spark sem lift-and-shift.
• Ecossistema AWS: S3/Glue/EMR/Athena/Lambda/DMS e Step Functions, plus Azure Synapse.
• Testes automatizados e governança de dados para paridade com legacy.
• Certificações Databricks desejáveis.

Connaissances

PySpark

Python

SQL

Databricks

Delta Lake

ETL pipelines

CDC ingest

AWS

Azure Synapse

Git CI/CD

Data migration

DMS

Outils

DataStage

S3

Glue

EMR

Athena

Lambda

DMS

Step Functions

Databricks

Lakehouse Architecture

Description du poste

Projeto Remoto - Contratação CLT Idioma: Inglês avançado Engenheiro(a) de Dados Sr - Migração e Modernização DW - Databricks para juntar-se ao nosso time. Buscamos um(a) Engenheiro(a) de Dados para o programa de migração do DW legado para o Enterprise Lakehouse Databricks, com a missão de reconstruir os pipelines hoje implementados em DataStage e Azure Synapse — sem lift-and-shift. A partir da engenharia reversa dos jobs atuais. Será responsável por reimplementar os pipelines nativamente em PySpark e Spark SQL sobre a arquitetura medalhão (bronze/silver/gold), executando as waves de reconstrução por domínio com reconciliação e paridade contra o DW legado até o cutover.

Requsitos Mandatórios:

• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.
• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.
• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.
• Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade.
• Git e CI/CD aplicados a pipelines de dados.
• Certificações Databricks (Data Analyst Associate, Data Engineer Associate).

Requisitos Desejáveis:

• Conhecimento de DataStage (leitura de jobs para engenharia reversa) — diferencial importante.
• Experiência prévia em programas de migração de DW para lakehouse — diferencial importante.
• Unity Catalog (permissões, lineage) e contratos de dados.
• Experiência no mercado financeiro ou de crédito.