Engenheiro(a) de Dados

DNX Brasil; Manaus; Presencial; BRL 20.000 - 80.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em Recife busca um Engenheiro de Dados para desenvolver e manter pipelines de dados na AWS, utilizando Apache Spark e Python. O profissional será responsável pelo desenho e implementação de fluxos de dados escaláveis em ambientes distribuídos, além de colaborar com equipes multidisciplinares e garantir a segurança e a qualidade dos dados.

Qualificações

• Experiência comprovada com serviços AWS.
• Domínio de processamento de dados em batch e streaming via Apache Spark.
• Conhecimento em Python para desenvolvimento de pipelines.

Responsabilidades

• Projetar e manter pipelines de dados utilizando AWS.
• Trabalhar com processos de dados em ambientes distribuídos.
• Colaborar com equipes para entender requisitos técnicos.

Conhecimentos

AWS (S3, Glue, EMR, Athena, Redshift, Lambda)

Apache Spark (PySpark)

Python

Bancos de dados NoSQL (DynamoDB, MongoDB)

Modelagem de dados

Formação académica

Graduação em Computação, Sistemas, Engenharia ou áreas correlatas

Descrição da oferta de emprego

Descrição

Buscamos profissional para atuar como Engenheiro de Dados focado em projetos de dados na nuvem AWS, utilizando Apache Spark e Python. O profissional será responsável pelo desenho, desenvolvimento e manutenção de pipelines de dados eficientes, escaláveis e confiáveis, com forte integração a serviços em nuvem e ecossistemas distribuídos.

Responsabilidades e atribuições

Projetar, implementar e manter pipelines de dados (ETL/ELT) utilizando Python, PySpark e serviços AWS (S3, Glue, Athena, EMR, Lambda, Redshift).

Trabalhar com processos em batch e streaming em ambientes altamente distribuídos.

Modelar e estruturar arquiteturas de dados, data lakes e data warehouses.

Otimizar rotinas, consultas e fluxos de dados, garantindo escalabilidade, segurança e alta disponibilidade.

Colaborar com equipes multidisciplinares para entender requisitos técnicos e de negócio, propondo soluções inovadoras.

Implementar boas práticas de governança, qualidade e segurança de dados.

Requisitos e qualificações

Experiência comprovada com AWS (S3, Glue, EMR, Athena, Redshift, Lambda).

Domínio de Apache Spark (PySpark), incluindo processamento de dados em batch e streaming.

Forte conhecimento em Python para desenvolvimento de pipelines e integrações.

Experiência com bancos de dados relacionais e NoSQL (ex: DynamoDB, MongoDB).

Vivência com arquitetura de Data Lake e Data Warehouse.

Habilidade em modelagem, análise e integração de dados de diferentes fontes.

Graduação em áreas correlatas (Computação, Sistemas, Engenharia ou similares).