Engenheiro de Dados – AWS

Programmers - AI, Data & Software; São Paulo; On-site; BRL 120,000 - 160,000; Full time

Benefits offered by this job

Plano de saúde

Plano odontológico

Convênio com Sesc

Wellhub

Vale refeição/alimentação

Auxílio creche

Participação nos resultados

Licença parental estendida

Curso de inglês

Job summary

A Programmers - AI, Data & Software está buscando um/uma Engenheiro(a) de Dados para atuar em uma parceria com o setor financeiro. Você fará a estruturação de plataformas em cloud, develop de pipelines de dados, e atuará com tecnologias como AWS, Airflow, Databricks, Python e Spark.

A posição envolve trabalhar com dados em grande volume, com foco em qualidade, segurança e governança.

Qualifications

• Experiência em estruturar plataformas de dados em Cloud (preferência AWS).
• Experiência com S3, EMR, Athena e Airflow.
• Experiência com Databricks.
• Experiência com Python, PySpark, Spark SQL e SQL.
• Desenvolvimento e sustentação de pipelines de dados.
• Arquiteturas de dados escaláveis.
• Processamento batch e streaming/realtime.
• Mensageria/streaming com Kafka e/ou RabbitMQ.
• Versionamento de código (Git, GitHub, GitLab ou Bitbucket).
• Monitoramento, troubleshooting e debug de processos de dados.
• Boas práticas de segurança, governança e controle de acesso a dados.
• Experiência com Metodologias Ágeis.

Responsibilities

• Desenhar e manter pipelines de dados eficientes.
• Garantir governança e segurança de dados.
• Trabalhar com equipes de engenharia e produto para soluções escaláveis.
• Monitorar e otimizar cargas de dados em produção.

Skills

Cloud AWS

S3

EMR

Athena

Airflow

Databricks

Python

PySpark

Spark SQL

SQL

Data pipelines

Arquiteturas de dados

Streaming/Batch

Kafka

RabbitMQ

Git/GitHub/GitLab/Bitbucket

Monitoramento de dados

Governança de dados

Metodologias ágeis

Tools

Databricks

Power BI

Azure DevOps

SonarQube

Job description

NOSSO NEGÓCIO

Aqui na Programmers, aceleramos grandes ideias com inovação e tecnologia. Com uma trajetória de mais de 30 anos, o que nos move são os desafios em construir ideias em soluções reais, para que nossos clientes sejam referências no segmento que atuam.

Especialistas em desenvolvimento de software e inteligência de dados, temos uma relação de transparência, confiança, credibilidade e reconhecimento neste mercado.

Nosso maior sonho? Impactar empresas e pessoas.

O QUE ESPERAMOS DE VOCÊ?

Estamos à procura de um(a) Engenheiro(a) de Dados motivado(a) e qualificado para integrar a equipe de um grande parceiro do mercado financeiro.

PARA ESSA OPORTUNIDADE VOCÊ PRECISA TER:

• Experiência em estruturação de plataforma de dados em Cloud (preferência AWS);
• Experiência com S3, EMR, Athena e Airflow;
• Experiência com Databricks;
• Experiência com Python, PySpark, Spark SQL e SQL;
• Experiência no desenvolvimento e sustentação de pipelines de dados;
• Experiência com arquiteturas de dados escaláveis;
• Conhecimento em processamento batch e streaming/real time;
• Experiência com ferramentas de mensageria ou streaming, como Kafka e/ou RabbitMQ;
• Conhecimento em ferramentas de versionamento de código, como Git, GitHub, GitLab ou Bitbucket;
• Experiência com monitoramento, troubleshooting e debug de processos de dados;
• Conhecimento em boas práticas de segurança, governança e controle de acesso a dados;
• Experiência com Metodologias Ágeis.

SERIAM PONTOS DE DESTAQUE SE VOCÊ TIVER:

• Experiência com Redshift e Delta Lake;
• Experiência no setor bancário ou financeiro;
• Conhecimento em Azure DevOps e SonarQube;
• Experiência com ambientes de alta criticidade e grande volume de dados;
• Conhecimento em ferramentas de visualização como Power BI ou Sigma.

PARA UMA VIDA MAIS SAUDÁVEL, TE PROPORCIONAMOS:

• Plano de saúde, com cobertura nacional
• Plano odontológico
• Convênio com Sesc
• Wellhub

TE APOIAMOS COM:

• Vale refeição ou alimentação
• Auxílio creche
• Participação nos resultados
• Licença parental estendida
• Treinamento do idioma inglês

Nossas vagas são para todos!
Valorizamos a diversidade, pois ela impulsiona a inovação, fortalece nossas soluções e torna nosso ambiente mais inclusivo. Cada diferença é uma oportunidade de aprendizado, tornando nosso dia a dia mais inspirador e nossas entregas ainda melhores.