Engenheiro de Dados Pl Remote Work Full-time employee

Genial Investimentos; São Paulo; Teletrabalho; BRL 120 000 - 180 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Assistência Médica

Assistência Odontológica

Vale Refeição

Vale Alimentação

Resumo da oferta

A Genial Investimentos está recrutando engenheiro(a) de dados para atuar na construção e evolução de pipelines de dados, com foco em Python, Spark e Databricks.

Você irá integrar dados de diversas fontes, modelar dados e garantir qualidade e governança, além de atuar em integrações com AWS e APIs REST, criando soluções orientadas a dados para o negócio.

Qualificações

• Experiência com pipelines de dados batch e streaming.
• Modelagem dimensional e arquitetura em camadas com SCD 1 e 2.
• Ingestão de bancos relacionais e APIs REST.
• Conhecimentos de qualidade, governança e observabilidade de dados.

Responsabilidades

• Desenvolver e evoluir pipelines de dados batch e streaming; Python sólido e boas práticas de desenvolvimento.
• Construir integrações com bancos de dados, APIs e serviços AWS.
• Monitorar pipelines em produção e investigar falhas, performance e causas raiz.
• Participar de code reviews e evoluir padrões de engenharia da equipe.
• Trabalhar junto às áreas de negócio para transformar requisitos em soluções de dados.

Conhecimentos

Python

SQL

Apache Spark / PySpark

Git e pull request

APIs REST

Ferramentas

Databricks

Delta Lake

AWS para dados

Descrição da oferta de emprego

Job type: Full-time employee Full-time employee

Buscamos profissionais que tenham vontade de crescer, colocar a mão na massa e fazer acontecer. Vivemos um momento único, recheado de desafios e oportunidades para agregar ainda mais valor aos nossos clientes. Se você tem esse perfil e essa ambição, inscreva-se nesta vaga e junte-se a nós para construir o futuro do mercado financeiro.

• Desenvolver e evoluir pipelines de dados batch e streaming utilizando Python, Spark e Databricks.
• Construir integrações com bancos de dados, APIs e serviços AWS.
• Modelar e transformar dados seguindo os padrões de arquitetura e qualidade da plataforma.
• Monitorar pipelines em produção, atuando na investigação de falhas, performance e causa raiz.
• Participar de code reviews e contribuir para a evolução dos padrões de engenharia do time.
• Trabalhar próximo às áreas de negócio para entender requisitos e transformar necessidades em soluções de dados.
• Garantir boas práticas de qualidade, segurança, governança e observabilidade dos dados.
• Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
• SQL , incluindo CTEs, window functions e otimização de queries.
• Apache Spark / PySpark , com entendimento de particionamento, shuffle, joins, cache e planos de execução.
• Databricks , com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
• AWS para dados , principalmente S3, IAM e serviços de integração/mensageria.
• Modelagem dimensional e arquitetura em camadas , incluindo SCD tipos 1 e 2.
• Experiência com ingestão de bancos relacionais e APIs REST .

• Python sólido para engenharia de dados, com boas práticas de desenvolvimento, testes e tratamento de erros.
• SQL , incluindo CTEs, window functions e otimização de queries.
• Apache Spark / PySpark , com entendimento de particionamento, shuffle, joins, cache e planos de execução.
• Delta Lake , incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.
• Databricks , com experiência em Jobs/Workflows e conhecimentos de Unity Catalog.
• AWS para dados , principalmente S3, IAM e serviços de integração/mensageria.
• Modelagem dimensional e arquitetura em camadas , incluindo SCD tipos 1 e 2.
• Git e desenvolvimento via pull request .
• Experiência com ingestão de bancos relacionais e APIs REST .

Diferenciais

• Experiência no mercado financeiro .
• Structured Streaming .
• Databricks Asset Bundles e Terraform.
• CI/CD para pipelines de dados.
• Delta Lake , incluindo MERGE, OPTIMIZE, VACUUM, schema evolution e estratégias de reprocessamento.

• Assistência Médica
• Assistência Odontológica
• Vale Refeição
• Vale Alimentação

São Paulo, modelo Remoto

Venha ser Genial você também!

É buscar a excelência, é fazer acontecer. É ser talentoso, inteligente, curioso e aceitar qualquer desafio. É se apresentar e defender as suas ideias. É colocar o cliente em primeiro lugar e ser apaixonado pelo que faz.

Por que a Genial?

Porque somos digitais, mas também somos humanos. Se você, assim como nós, acredita que investimento não é sinônimo de terno e gravata, queremos conhecer você!

A empresa que investe em você! Descomplicamos o mercado financeiro para que nossos clientes consigam tomar boas decisões na hora de investir.

Buscar os melhores resultados para os clientes;

Colocar excelência em tudo que fazemos;

Ser uma empresa responsável, transparente e sustentável;