Engenheiro de Dados Pl

Genial Investimentos; São Paulo; Remote; BRL 150,000 - 210,000; Full time

Benefits offered by this job

Assistência Médica

Assistência Odontológica

Vale Refeição

Vale Alimentação

Job summary

A Genial Investimentos está buscando um engenheiro de dados para atuar na construção e evolução de pipelines de dados, com foco em Python e Spark. O profissional irá integrar dados de bancos, APIs e serviços AWS, assegurando qualidade, governança e observabilidade.

Você trabalhará próximo às áreas de negócio para entender requisitos e traduzi-los em soluções de dados escaláveis, com monitoramento de produção e participação em code reviews. Remoto, com atuação no Brasil.

Qualifications

• Domínio de Python para engenharia de dados, boas práticas e tratamento de erros.
• Experiência com construção de pipelines (batch/streaming) e dados de alta disponibilidade.
• Conhecimento de SQL avançado (CTEs, window functions, otimização).
• Experiência com Spark/Databricks e governança de dados.

Responsibilities

• Desenvolver e evoluir pipelines de dados batch e streaming com Python/Spark.
• Construir integrações com bancos de dados, APIs e serviços AWS.
• Monitorar pipelines em produção, investigar falhas e performance.
• Participar de code reviews e evoluir padrões de engenharia.
• Entender requisitos de negócio e transformar em soluções de dados.

Skills

Python

SQL

Git e pull requests

Structured Streaming

Random access patterns?

Tools

Databricks

Apache Spark

Delta Lake

AWS

Job description

Workplace: São Paulo - SP São Paulo - SP

Job type: Full-time employee Full-time employee

Buscamos profissionais que tenham vontade de crescer, colocar a mão na massa e fazer acontecer. Vivemos um momento único, recheado de desafios e oportunidades para agregar ainda mais valor aos nossos clientes. Se você tem esse perfil e essa ambição, inscreva-se nesta vaga e junte-se a nós para construir o futuro do mercado financeiro.

• Desenvolver e evoluir pipelines de dados batch e streaming utilizando Python, Spark e Databricks.
• Construir integrações com bancos de dados, APIs e serviços AWS.
• Modelar e transformar dados seguindo os padrões de arquitetura e qualidade da plataforma.
• Monitorar pipelines em produção, atuando na investigação de falhas, performance e causa raiz.
• Participar de code reviews e contribuir para a evolução dos padrões de engenharia do time.
• Trabalhar próximo às áreas de negócio para entender requisitos e transformar necessidades em soluções de dados.
• Garantir boas práticas de qualidade, segurança, governança e observabilidade dos dados.
• Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
• SQL , incluindo CTEs, window functions e otimização de queries.
• Apache Spark / PySpark , com entendimento de particionamento, shuffle, joins, cache e planos de execução.
• Databricks , com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
• AWS para dados , principalmente S3, IAM e serviços de integração/mensageria.
• Modelagem dimensional e arquitetura em camadas , incluindo SCD tipos 1 e 2.
• Experiência com ingestão de bancos relacionais e APIs REST .

• Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
• SQL , incluindo CTEs, window functions e otimização de queries.
• Apache Spark / PySpark , com entendimento de particionamento, shuffle, joins, cache e planos de execução.
• Delta Lake , incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
• Databricks , com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
• AWS para dados , principalmente S3, IAM e serviços de integração/mensageria.
• Modelagem dimensional e arquitetura em camadas , incluindo SCD tipos 1 e 2.
• Git e desenvolvimento via pull request .
• Experiência com ingestão de bancos relacionais e APIs REST .

Diferenciais

• Experiência no mercado financeiro .
• Structured Streaming .
• Databricks Asset Bundles e Terraform.
• CI/CD para pipelines de dados.
• Delta Lake , incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.

Assistência Médica

Assistência Odontológica

Vale Refeição

Vale Alimentação

São Paulo, modelo Remoto

Venha ser Genial você também!

É buscar a excelência, é fazer acontecer. É ser talentoso, inteligente, curioso e aceitar qualquer desafio. É se apresentar e defender as suas ideias. É colocar o cliente em primeiro lugar e ser apaixonado pelo que faz.

Por que a Genial?

Porque somos digitais, mas também somos humanos. Se você, assim como nós, acredita que investimento não é sinônimo de terno e gravata, queremos conhecer você!

A empresa que investe em você! Descomplicamos o mercado financeiro para que nossos clientes consigam tomar boas decisões na hora de investir.

Buscar os melhores resultados para os clientes;

Colocar excelência em tudo que fazemos;

Ser uma empresa responsável, transparente e sustentável;