12764582 - Engenheiro de Dados SR

Stefanini; Osasco; On-site; BRL 180,000 - 260,000; Full time

Job summary

Stefanini está buscando profissional de Engenharia de Dados para atuar no cliente em Osasco, SP, com participação presencial 2 a 3 vezes por mês. O papel envolve desenhar, desenvolver e otimizar pipelines de dados de alta complexidade e colaborar com equipes multidisciplinares em uma transformação global de dados.

O candidato ideal terá forte experiência com Python, SQL, Spark/PySpark e Databricks, bem como noções de Data Lake, Lakehouse e Data Warehouse, segurança de dados e governança.

Qualifications

• Graduação completa em área pertinente.
• Conhecimento sólido em Python, SQL e Spark/PySpark.
• Experiência prática com Databricks, ETL/ELT e processamento distribuído.
• Experiência com ADLS e Azure Data Factory ou ferramentas equivalentes de orquestração.
• Conhecimento de Data Lake, Lakehouse, Data Warehouse e modelagem de dados.

Responsibilities

• Projetar, desenvolver e otimizar pipelines de dados de média e alta complexidade.
• Criar soluções escaláveis para ingestão, transformação e processamento de grandes volumes de dados.
• Desenvolver soluções com Python, SQL, Spark/PySpark e Databricks.
• Atuar com arquiteturas de Data Lake, Lakehouse e Data Warehouse.
• Definir estratégias de particionamento e otimização de desempenho.
• Desenvolver e aprimorar processos ETL/ELT e soluções de processamento distribuído.
• Investigar problemas de processamento, desempenho e qualidade dos dados.
• Implementar mecanismos de monitoramento, observabilidade e qualidade de dados.
• Aplicar boas práticas de segurança, governança e proteção de dados.
• Participar de decisões técnicas e da definição de padrões e arquitetura.
• Realizar revisões de código e apoiar tecnicamente profissionais júnior e pleno.
• Colaborar com equipes de diferentes áreas e apoiar estimativas, planejamento e acompanhamento das entregas.
• Contribuir para a melhoria contínua de processos e soluções de Engenharia de Dados.

Skills

Python

SQL

Spark/PySpark

Databricks

Git

CI/CD

APIs

Education

Graduação completa

Tools

Databricks

Azure Data Factory

Azure Data Lake Storage

Job description

No Grupo Stefanini, você vai colaborar na criação de soluções de dados que combinam tecnologia e inovação para gerar impacto real. Nesta posição, terá espaço para contribuir com decisões técnicas e ajudar a evoluir projetos de alta complexidade em uma jornada global de transformação.

A atuação será presencial nas instalações do cliente em Osasco/SP, de 2 a 3 vezes por mês. A jornada é das 8h às 17h, com 1 hora de intervalo.

Responsabilidades

• Projetar, desenvolver e otimizar pipelines de dados de média e alta complexidade.


• Criar soluções escaláveis para ingestão, transformação e processamento de grandes volumes de dados.


• Desenvolver soluções com Python, SQL, Spark/PySpark e Databricks.


• Atuar com arquiteturas de Data Lake, Lakehouse e Data Warehouse.


• Definir estratégias de particionamento e otimização de desempenho.


• Desenvolver e aprimorar processos ETL/ELT e soluções de processamento distribuído.


• Investigar problemas de processamento, desempenho e qualidade dos dados.


• Implementar mecanismos de monitoramento, observabilidade e qualidade de dados.


• Aplicar boas práticas de segurança, governança e proteção de dados.


• Participar de decisões técnicas e da definição de padrões e arquitetura.


• Realizar revisões de código e apoiar tecnicamente profissionais júnior e pleno.


• Colaborar com equipes de diferentes áreas e apoiar estimativas, planejamento e acompanhamento das entregas.


• Contribuir para a melhoria contínua de processos e soluções de Engenharia de Dados.

Requisitos obrigatórios

• Ensino superior completo.


• Experiência sólida em Engenharia de Dados, preferencialmente de 5 anos ou mais, incluindo projetos de alta complexidade e grandes volumes de dados.


• Conhecimento avançado em Python, SQL e Spark/PySpark.


• Experiência prática com Databricks, ETL/ELT e processamento distribuído.


• Experiência com Azure Data Lake Storage (ADLS) e Azure Data Factory ou ferramentas equivalentes de orquestração.


• Conhecimento de Data Lake, Lakehouse, Data Warehouse e modelagem de dados.


• Experiência com bancos de dados SQL e NoSQL.


• Conhecimento de Git e CI/CD.


• Experiência com APIs e integração de sistemas.


• Conhecimento de segurança, governança e qualidade de dados.


• Experiência com otimização e ajuste de desempenho de pipelines e processos de dados.

Diferenciais

• Experiência com Delta Lake.


• Conhecimento de Databricks Workflows ou Unity Catalog.


• Experiência com Kafka, Azure Event Hubs ou outras tecnologias de streaming.


• Conhecimento de Terraform ou Infrastructure as Code (IaC).


• Certificações Azure ou Databricks.


• Experiência nos segmentos financeiro ou bancário.


• Vivência em ambientes de grande escala e alta criticidade.

O que esperamos

Buscamos uma pessoa colaborativa, com autonomia e interesse em compartilhar conhecimento, que contribua para decisões técnicas e para a evolução das soluções de Engenharia de Dados. Você terá a oportunidade de trabalhar em parceria com diferentes equipes e apoiar a entrega de soluções confiáveis e escaláveis.