Engenheiro(a) de Dados

Moot It Consulting; São Paulo; Hybrid; BRL 120,000 - 180,000; Full time

Job summary

A Moot It Consulting busca um Engenheiro de Dados para liderar a migração do DW legado para o Enterprise Lakehouse Databricks. Você reconstruirá pipelines atualmente em DataStage e Azure Synapse, reimplementando-os em PySpark e Spark SQL, trabalhando com a arquitetura bronze/silver/gold.

O papel envolve engenharia reversa de jobs, reconciliação de dados e paridade com o DW existente, com atuação híbrida (2 dias presenciais em SP)."

Qualifications

• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.
• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.
• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.
• Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade.
• Git e CI/CD aplicados a pipelines de dados.

Skills

PySpark

Python

SQL

Databricks

Delta Lake

CDC/ETL

Git & CI/CD

Education

Graduação Concluída

Tools

AWS

S3

Glue

EMR

Athena

DMS

Step Functions

Azure Synapse

Job description

Somos umaconsultoria com mais de 12 anos de experiência em TI, Inovação, Otimização deProcessos, Softwares de Gestão, Desenvolvimento e Suporte a Sistemas, e Recrutamento de Profissionais de TI. Comprometidos com qualidade e inovação,oferecemos projetos de tecnologia sob medida, atendendo comexcelênciatodooBrasil.Buscamos um(a) Engenheiro(a) de Dados para o programa de migração do DW legado para o Enterprise Lakehouse Databricks, com a missão de reconstruir os pipelines hoje implementados em DataStage e Azure Synapse — sem lift-and-shift. A partir da engenharia reversa dos jobs atuais. Será responsável por reimplementar os pipelines nativamente em PySpark e Spark SQL sobre a arquitetura medalhão (bronze/silver/gold), executando as waves de reconstrução por domínio com reconciliação e paridade contra o DW legado até o cutover.

Requisitos necessários:

• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.
• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.
• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.
• Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade.
• Git e CI/CD aplicados a pipelines de dados.

Atuação: Hibrido 2 dias pressenciais - SPFormação: Graduação ConcluídaIdioma : Inglês Avançado