Engenheiro De Dados Iii

Dataex; Jaboatão dos Guararapes; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está em busca de profissionais que contribuam para projetos relevantes de dados. O candidato ideal deve ter experiência em desenvolvimento e manutenção de pipelines de dados, além de uma sólida compreensão de arquitetura de dados em camadas. Desejável conhecimentos em recursos da AWS e metodologias ágeis. O local de trabalho é em Jaboatão dos Guararapes, Brasil, e há uma ênfase em comunicação, adaptabilidade e resolução de problemas.

Qualificações

• Experiência com AWS Glue, Kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs no Databricks / EMR.
• Experiência na alocação de recursos em clusters AWS.

Responsabilidades

• Desenvolver e manter pipelines de dados.
• Gerir a arquitetura de dados em diferentes camadas.
• Documentar e transferir conhecimento dos pipelines.

Conhecimentos

Experiência com data lakes e data mesh

Recursos da AWS

Desenvolvimento utilizando PySpark

Familiaridade com metodologias ágeis

Habilidades de comunicação e resolução de problemas

Flexibilidade a mudanças

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.