Engenheiro De Dados

Beesby; Poços de Caldas; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia de dados em Minas Gerais está procurando um profissional para ajudar na evolução do ecossistema de dados utilizando tecnologias como DeltaLake, Spark e Superset. O papel é hands-on, com foco em desenvolvimento e operação de pipelines escaláveis baseados em Python e monitoramento de saúde dos dados. Abrange modelagem de dados e otimização de performance. Para essa posição, habilidades em SQL avançado e comunicação clara são essenciais. Oportunidade de impacto direto no negócio.

Qualificações

• Desenvolvimento de pipelines escaláveis baseados em Python.
• Modelar dados usando uma arquitetura medalhão para otimizar custo e performance.
• Otimizar consultas, partições, índices e storage.

Responsabilidades

• Monitorar saúde e custos dos pipelines.
• Documentar arquitetura, fluxos e dicionário de dados.

Conhecimentos

SQL avançado e modelagem

Python

Spark

Deltalake

Desenvolvimento de pipelines em Python e Airflow

Versionamento com GitHub e CI / CD

Métodos ágeis

Comunicação clara com públicos técnicos e de negócio

Ferramentas

Airflow

Superset

Lakehouse

Parquet

Descrição da oferta de emprego

segue certinha a vaga : Procuramos um profissional para ajudar a evolução do nosso ecossistema de dados baseado DeltaLake / Spark / Superset, governança, qualidade e performance. Papel hands-on, autonomia e impacto direto no negócio.

Responsabilidades

• Desenvolver e operar pipelines escaláveis baseados em Python.
• Modelar dados, usando um arquitetura medalhão, otimizando custo e performance.
• Otimizar consultas, partições, índices e storage (Parquet / Delta).
• Monitorar saúde / custos dos pipelines e documentar arquitetura, fluxos e dicionário de dados.

Requisitos obrigatórios

• SQL avançado e modelagem.
• Python, Spark, Deltalake e Arquitetura Medalhão.
• Desenvolvimento de pipelines em python e Airflow;
• Versionamento com GitHub e CI / CD.
• Métodos ágeis e comunicação clara com públicos técnicos e de negócio.

Diferenciais

• Conhecimentos de Superset (implantação / uso).
• Conhecimento de Lakehouse.
• Boas práticas de Data Viz.
• Inglês técnico.

Importante é menos foco microsoft e mais foco opensource, python, spark, airdlow, etc