Pessoa Engenheira de Dados SR (Databricks e MongoDB)

Dimensa Tecnologia; São Paulo; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia em São Paulo, comprometida com inovações em operações financeiras, está buscando um Engenheiro de Dados SR. O candidato ideal irá trabalhar com Databricks e MongoDB, implementando soluções de Big Data e colaborando com equipes para otimizar processos e garantir desempenho nas consultas, promovendo eficiência e inovação nos projetos de dados.

Serviços

Vale Alimentação

Previdência Privada

Assistência Médica e Odontológica

Licença Maternidade e Paternidade Estendida

Auxílio Creche

Seguro de Vida

Acesso a academias (Wellhub)

Participação nos Lucros e Resultados (PLR)

Orientação médica online (Einstein Conecta)

Qualificações

• Experiência avançada com Databricks e MongoDB.
• Domínio em PySpark e Scala.
• Familiaridade com integrações de dados via APIs e conectores.

Responsabilidades

• Implementar processos de ingestão e transformação de dados no Databricks.
• Projetar e manter estruturas de dados no MongoDB.
• Otimizar a performance de jobs e consultas.

Conhecimentos

Databricks

MongoDB

PySpark

Scala

SQL

Big Data

Kafka

Descrição da oferta de emprego

Pessoa Engenheira de Dados SR (Databricks e MongoDB)

Pessoa Engenheira de Dados SR (Databricks e MongoDB)

Recrutamento e Seleção | DHO | Gestão de Pessoas

A Dimensa está no topo do jogo quando o assunto é tecnologia e infraestrutura para operações financeiras, crédito e risco, e seguros. Nossos sistemas são super escaláveis e adaptáveis, perfeitos para negócios de todos os tamanhos. Nossa equipe de experts vive e respira o setor financeiro, atualizando nossas soluções constantemente para tornar suas operações mais digitais, melhorar a performance, inovar no atendimento aos clientes e garantir que todas as exigências regulatórias sejam 100% cumpridas.

Todas as nossas oportunidades são inclusivas e abertas para pessoas com deficiência.

● Implementar processos de ingestão e transformação de dados no Databricks, desenvolvendo código otimizado em Apache Spark (PySpark/Scala) para processar grandes volumes de dados provenientes de sistemas transacionais e logs.

● Projetar e manter estruturas de dados no MongoDB para armazenar e consultar dados semi-estruturados ou não relacionais, definindo modelos de documentos adequados e índices para garantir desempenho nas consultas.

● Integrar o MongoDB ao ecossistema da plataforma de dados, implementando pipelines que migrem ou sincronizem dados entre o MongoDB e outros repositórios (por exemplo, Data Lake ou PostgreSQL), conforme necessário para o projeto.

● Otimizar a performance de jobs e consultas, ajustando configurações de cluster Databricks/Spark (particionamento, paralelismo) e realizando otimizações no MongoDB (por meio de gestão de índices, sharding ou replicação, se aplicável).

● Colaborar com o Tech Lead e Arquiteto de Dados para garantir que as soluções implementadas em Databricks e MongoDB estejam alinhadas à arquitetura global e atendam aos padrões de qualidade e segurança.

● Identificar gargalos ou problemas de dados (ex: inconformidades, atrasos no pipeline, falhas de integração) e propor soluções eficazes, implementando melhorias de forma proativa.

● Documentar os processos desenvolvidos (notebooks, scripts, configurações do cluster, estruturas do MongoDB) para facilitar a manutenção futura e a transição para a fase de sustentação após o projeto.

● Atuação em projetos de Big Data e processamento distribuído.

● Domínio da plataforma Databricks e do ecossistema Apache Spark (incluindo escrita

de jobs em PySpark e/ou Scala), com experiência em otimização de jobs, gerenciamento de clusters e uso de Delta Lake.

● Experiência avançada com MongoDB, incluindo design de coleções, consultas complexas (Aggregation Framework), índices e boas práticas de desempenho e replicação.

● Familiaridade com linguagens de programação e scripts para manipulação de dados (Python, Scala e SQL), assim como uso de APIs e conectores para integração entre Spark, MongoDB e outros sistemas.

● Conhecimentos de sistemas de mensageria/streaming de dados (ex: Kafka) para trabalhar com integrações em tempo real, caso parte dos dados seja recebida via streams.

• Experiência no mercado financeiro

Vale Alimentação: Para saborear deliciosas refeições

＄ Previdência Privada: Planeje o futuro com segurança.

✙ Assistência Médica e Odontológica: Cuidado completo para você e sua família.

Licença Maternidade e Paternidade Estendida: Mais tempo para aproveitar os momentos especiais.

Auxílio Creche: Para ajudar nas despesas dos pequenos.

ღ Seguro de Vida: Segurança para você e quem você ama.

Wellhub: Acesso a academias e atividades físicas para manter a saúde em dia.

Participação nos Lucros e Resultados (PLR): Sucesso compartilhado com todos.

Einstein Conecta: Orientação médica online com os especialistas do Hospital Israelita Albert Einstein, totalmente gratuito.

Get notified about new Data Engineer jobs in São Paulo, Brazil.

São Paulo, São Paulo, Brazil 23 hours ago

Analista de Dados Jr (área de Fraude) - São Paulo/SP

Analista Júnior de Dados - Prevenção à Fraude

Engenheiro de Dados Jr - Banco de Talentos

Greater São Paulo Area R$3,000.00-R$3,000.00 4 days ago

São José do Rio Preto, São Paulo, Brazil 1 week ago

Banco de Talentos - Data Engineer Spec I e II (Júnior e Pleno)

Engenheiro de DadosSão Paulo - SP e HíbridoEfetivo

São Paulo, São Paulo, Brazil 6 months ago

Engenheiro(a) de Dados Júnior (Python, SQL, Big Data)

Hortolândia, São Paulo, Brazil 1 week ago

São Paulo, São Paulo, Brazil 22 hours ago