Engenheiro de Dados III

DataEX; Cachoeirinha; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em Cachoeirinha, Rio Grande do Sul, está buscando profissionais para desenvolver e manter pipelines de dados usando recursos da AWS e PySpark. Os candidatos devem ter experiência em arquitetura de dados, documentação e práticas ágeis. A posição requer habilidades de comunicação e adaptação a mudanças, com tarefas focadas em garantir a gestão eficaz de dados e a documentação dos processos desenvolvidos.

Qualificações

• Experiência com data lakes, data mesh e recursos da AWS.
• Capacidade de criar APIs e desenvolver utilizando PySpark.
• Gestão de arquitetura de dados em camadas.

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados em camadas.
• Documentação e transferência de conhecimento.

Conhecimentos

Experiência com data lakes

Experiência com AWS Glue

Desenvolvimento utilizando PySpark

Familiaridade com metodologias ágeis

Habilidades de comunicação

Ferramentas

AWS Kinesis

AWS Redshift

AWS Athena

AWS S3

Databricks

AWS EMR

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.