Engenheiro De Dados Iii

Dataex; Santana de Parnaíba; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em São Paulo está em busca de parceiros para integrar um projeto em dados de um dos seus maiores clientes. O candidato ideal deve ter experiência em data lakes e data mesh, além de domínio de ferramentas da AWS como Glue e Redshift. As atividades incluem desenvolvimento e manutenção de pipelines de dados, além da gestão da arquitetura de dados. Procuramos alguém com habilidades em comunicação, resolução de problemas e que se adapte bem a mudanças.

Qualificações

• Experiência com alocação de recursos em clusters na AWS.
• Familiaridade com desenvolvimento e manutenção de pipelines em arquitetura Lambda.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.

Responsabilidades

• Desenvolver e manter pipelines de dados.
• Gerenciar a arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentar e transferir conhecimento dos pipelines desenvolvidos.

Conhecimentos

Experiência com data lakes e data mesh

AWS Glue, Kinesis, Redshift, Athena, Aurora e S3

Habilidades de comunicação e colaboração

Desenvolvimento em PySpark

Gestão de arquitetura de dados

Metodologias ágeis (Scrum, Kanban, Lean)

Resolução de problemas

Adaptabilidade e flexibilidade

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.