Engenheiro De Dados Iii

Dataex; Alvorada; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia de dados em Alvorada, Brasil, procura profissionais para desenvolver e manter pipelines de dados. O candidato ideal deve ter experiência em data lakes e recursos da AWS, além de habilidade em criar APIs e utilizar PySpark. É essencial a familiaridade com metodologias ágeis e uma forte capacidade de documentação. Junte-se a uma equipe dinâmica e contribua para projetos desafiadores.

Qualificações

• Experiência com data lakes, data mesh e recursos da AWS.
• Capacidade de criar APIs e desenvolver utilizando PySpark.
• Familiaridade com metodologias ágeis como Scrum e Kanban.

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento.

Conhecimentos

Experiência com data lakes

AWS Glue

kinesis

Redshift

Athena

Aurora

S3

PySpark

Databricks

EMR

Scrum

Kanban

Lean

Resolução de problemas

Pensamento crítico

Adaptabilidade

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.