Engenheiro De Dados Iii

Dataex; Belo Horizonte; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está buscando profissionais para desenvolver e manter pipelines de dados e gerenciar a arquitetura de dados em Belo Horizonte, Minas Gerais. O candidato ideal deve ter experiência com data lakes, AWS, e ser capaz de documentar e transferir conhecimentos. Se você tem habilidades em comunicação e pensamento crítico, esta pode ser a oportunidade certa para você.

Qualificações

• Experiência em desenvolvimento e manutenção de pipelines de dados.
• Capacidade de alocação de recursos em clusters na AWS.
• Gestão de arquitetura de dados em diferentes camadas.

Responsabilidades

• Desenvolver e manter pipelines de dados.
• Gerenciar a arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentar e transferir conhecimento sobre os pipelines.

Conhecimentos

Experiência com data lakes e data mesh

AWS (Glue, Kinesis, Redshift, Athena, Aurora, S3)

Desenvolvimento com PySpark

Familiaridade com metodologias ágeis (Scrum, Kanban, Lean)

Habilidades de comunicação e resolução de problemas

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.