Engenheiro de Dados III

DataEX; Timon; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia da informação está em busca de profissionais para desenvolver e manter pipelines de dados em um projeto com um grande cliente. O candidato ideal terá experiência com data lakes e recursos da AWS, além de habilidades em PySpark. A função também envolve a gestão de arquitetura de dados em camadas e a documentação dos processos desenvolvidos. A posição requer habilidades de comunicação e adaptação a mudanças. Localização em Timon, Maranhão.

Qualificações

• Experiência com recursos da AWS como Glue, Kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark.
• Experiência em alocação de recursos em clusters na AWS.

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados em diversas camadas.
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.

Conhecimentos

Experiência com data lakes

AWS Glue

PySpark

Habilidades de comunicação

Gestão de arquitetura de dados

Metodologias ágeis

Ferramentas

Databricks

AWS Kinesis

AWS Redshift

AWS Athena

AWS Aurora

AWS S3

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes! Requisitos :

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.