Engenheiro(A) De Dados Sênior | Databricks

Moot It Consulting; São Paulo; Ibrido; BRL 250.000 - 350.000; Tempo pieno

Descrizione del lavoro

A Moot It Consulting busca um Engenheiro de Dados Sênior para atuar em projeto de modernização e migração de dados. O profissional irá analisar processos existentes em DataStage e Azure Synapse e reconstruí-los no Databricks, com Python, PySpark e SQL, garantindo qualidade, segurança e consistência durante a migração.

Requisitos incluem sólida experiência em engenharia de dados, conhecimento avançado de Python, PySpark e SQL, Databricks, Delta Lake, AWS/Azure, DataStage e Azure Synapse.

Competenze

• Engenheiro(a) de Dados com experiência sólida em arquitetura de dados e modernização de pipelines.
• Conhecimento avançado em Python, PySpark e SQL.
• Experiência prática com Databricks, Delta Lake e serviços em nuvem (AWS/Azure).
• Experiência com DataStage e Azure Synapse durante migração de dados.
• Conhecimento de Git e CI/CD para versionamento e entrega contínua.
• Inglês avançado é desejável para leitura de documentação e colaboração internacional.

Mansioni

• Analisar processos existentes em DataStage e Azure Synapse e reconstruí-los no Databricks usando Python, PySpark e SQL.
• Organizar, transformar, integrar e validar dados para garantir qualidade, segurança e consistência na migração.
• Conduzir migração e modernização de dados, com foco em pipelines ETL robustos e escaláveis.
• Participar da arquitetura de dados (Bronze/Silver/Gold) e modelagem de dados.

Conoscenze

Python

PySpark

SQL

ETL development

Data migration

Data modeling

Inglês avançado

Formazione

Graduação concluída

Strumenti

Databricks

Delta Lake

Azure Synapse

DataStage

Git

CI/CD

Databricks Asset Bundles

Delta Live Tables

Lakeflow

Descrizione del lavoro

Somos uma consultoria com mais de 12 anos de experiência em TI, Inovação, Otimização de Processos, Softwares de Gestão, Desenvolvimento e Suporte a Sistemas, e Recrutamento de Profissionais de TI. Comprometidos com qualidade e inovação, oferecemos projetos de tecnologia sob medida, atendendo com excelência todo o Brasil.

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto de modernização e migração de dados.

O profissional será responsável por analisar os processos existentes em DataStage e Azure Synapse e reconstruí-los no ambiente Databricks, utilizando Python, PySpark e SQL.

Também atuará na organização, transformação, integração e validação dos dados, garantindo qualidade, segurança e consistência durante a migração.

Requisitos necessários

• Experiência sólida em Engenharia de Dados.

• Conhecimento avançado em Python, PySpark e SQL.

• Experiência prática com Databricks e Delta Lake.

• Conhecimento em arquitetura Medalhão (Bronze, Silver e Gold).

• Experiência com desenvolvimento e reconstrução de pipelines ETL.

• Vivência em projetos de migração e modernização de dados.

• Conhecimento em serviços AWS (S3, Glue, EMR, Athena, Lambda, DMS e Step Functions).

• Experiência com Azure Synapse e DataStage.

• Conhecimento em modelagem, qualidade e validação de dados.

• Experiência com Git e processos de CI/CD.

• Conhecimento em Delta Live Tables/Lakeflow e Databricks Asset Bundles.

• Inglês avançado.

• Graduação concluída.

Informações da oportunidade

• Modelo de atuação: Híbrido, 2 dias presenciais por semana.

• Localidade: Berrini - São Paulo/SP.

• Escolaridade: Ensino superior completo.