Engenheiro de Dados III

DataEX; Manaus; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma consultoria em Dados está buscando profissionais para contribuir em um projeto importante na área de dados. O candidato ideal deve ter ampla experiência com AWS, especialmente em serviços como Glue e Redshift, e ser capaz de desenvolver pipelines de dados utilizando PySpark no Databricks. O trabalho envolve gestão de arquitetura de dados e documentação. É necessário ter habilidades de comunicação e adaptabilidade a mudanças. A empresa valoriza inovação e colaboração.

Serviços

Incentivos para certificações

Bem-estar

Qualificações

• Experiência com recursos da AWS, incluindo kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Gestão de arquitetura de dados em camadas (raw, bronze, silver, gold).

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.

Conhecimentos

Experiência com data lakes

Experiência com AWS Glue

Desenvolvimento utilizando PySpark

Habilidades de comunicação

Familiaridade com metodologias ágeis

Ferramentas

AWS

Databricks

Descrição da oferta de emprego

📌 Sobre a DataEX :

Com 12 anos de atuação no mercado, a DataEX é uma consultoria especializada em Dados e IA , com parcerias estratégicas com Microsoft, AWS e Databricks , atuando em projetos de alto impacto para grandes clientes. Valorizamos a inovação, a colaboração, o desenvolvimento contínuo e a qualidade de vida , com incentivos para certificações e bem-estar.

💼 Sobre a vaga :

Estamos a procura de profissionais parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

📋 Requisitos :

• Experiência com data lakes, data mesh e recursos da AWS , incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados ( Arquitetura Lambda ).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação , colaboração , resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

🛠️ Atividades :

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold) .
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.