Engenheiro De Dados Iii

Dataex; Teresina; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em dados está em busca de profissionais para desenvolver e manter pipelines de dados. O trabalho envolve gestão de arquitetura de dados nas camadas raw, bronze, silver e gold, e requer experiência com AWS e PySpark. Candidatos devem ter habilidades de comunicação, adaptabilidade, e familiaridade com metodologias ágeis. Essa oportunidade é ideal para quem busca atuar em um ambiente dinâmico e desafiador.

Qualificações

• Experiência com alocação de recursos em clusters na AWS.
• Capacidade de criar APIs e desenvolver utilizando PySpark.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.

Responsabilidades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.

Conhecimentos

Experiência com data lakes

Experiência com AWS Glue

Experiência com Kinesis

Experiência com Redshift

Experiência com Athena

Experiência com Aurora

Experiência com S3

Desenvolvimento com PySpark

Familiaridade com metodologias ágeis

Habilidades de comunicação

Ferramentas

Databricks

EMR

Descrição da oferta de emprego

Estamos a procura de parceiros para contribuir com o Projeto em Dados em um dos nossos maiores clientes!

Requisitos

• Experiência com data lakes, data mesh e recursos da AWS, incluindo AWS Glue, kinesis, Redshift, Athena, Aurora e S3.
• Capacidade de criar APIs e desenvolver utilizando PySpark no Databricks / EMR.
• Experiência com alocação de recursos em clusters na AWS.
• Desenvolvimento e manutenção de pipelines de dados (Arquitetura Lambda).
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.
• Familiaridade com metodologias ágeis (Scrum, Kanban e Lean).
• Habilidades de comunicação, colaboração, resolução de problemas e pensamento crítico.
• Adaptabilidade e flexibilidade a mudanças.

Atividades

• Desenvolvimento e manutenção de pipelines de dados.
• Gestão de arquitetura de dados (camadas raw, bronze, silver, gold).
• Documentação e transferência de conhecimento dos pipelines desenvolvidos.