Engenheiro(a) dados Sênior

Moot; São Paulo; Hybrid; BRL 180,000 - 300,000; Full time

Job summary

A Moot, empresa de tecnologia, busca Engenheiro de Dados para atuar em formato híbrido em São Paulo (Berrini).

Você irá projetar e manter pipelines com PySpark e Python, SQL avançado, Databricks e Delta Lake, além de migrar pipelines ETL legados para Spark com ingestão CDC/batch. Experiência com AWS e Azure Synapse é desejável e a posição exige atuação presencial parte da semana.

Qualifications

• Desenvolvimento de pipelines batch com PySpark e Python, com testes.
• Modelagem de dados SQL avançada e otimização de performance em DW.
• Experiência com Databricks, Delta Lake e gestão de pipelines em produção.
• Migração de ETL e regras de negócio para Spark, com ingestão CDC/batch.
• Ecossistema AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions) e Azure Synapse.

Responsibilities

• Desenhar e manter pipelines de dados em escala com qualidade.
• Atuar na arquitetura bronze/silver/gold (Delta Lake) e governança de dados.
• Colaborar com equipes de Engenharia e BI para entregar soluções confiáveis.

Skills

PySpark

Python

SQL

Tools

Databricks

Delta Lake

Delta Live Tables

Lakeflow

Asset Bundles

AWS

S3

Glue

EMR

Athena

Lambda

DMS

Step Functions

Azure Synapse

Job description

Tipo de Contratação: CLT

Atuação: Hibrido 2x por semana presencial na Berrini - SP

Requisitos necessários:

• PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
• SQL avançado e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.
• Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
• Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.
• Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
• Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.