Engenheiro De Dados Iii

Dataex; Manaus; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados em Manaus, Brasil, busca profissionais para desenvolver e manter pipelines de dados e gerenciar a arquitetura de dados. O candidato ideal possui experiência em data lakes, AWS e PySpark, além de habilidades em comunicação e metodologias ágeis. A função envolve a documentação e transferência de conhecimento sobre os pipelines. Oportunidade para quem busca flexibilidade e adaptabilidade em um ambiente dinâmico.

Qualificações

• Experiência com alocação de recursos em clusters na AWS.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.

Conhecimentos

Experiência com data lakes e data mesh

Recursos da AWS (Glue, Kinesis, Redshift, Athena, Aurora, S3)

Desenvolvimento com PySpark

Familiaridade com metodologias ágeis (Scrum, Kanban, Lean)

Habilidades de comunicação e colaboração

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.