Data Engineer SR

Dock Group; Barueri; Hybrid; BRL 120,000 - 190,000; Full time

Benefits offered by this job

Auxílio alimentação

Plano de saúde

Odontológico

Psicoterapia online

Ergonomia

Wellhub

Auxílio remoto

Previdência privada

Licença parental

Auxílio creche

Auxílio para filhos especiais

Plataforma idiomas

Coworking Brasil

Job summary

A Dock Group busca um(a) profissional de Engenharia de Dados para atuar na camada de plataforma de dados. Você irá construir pipelines robustos que transformam o data lake em datasets de eventos confiáveis, versionados e com controle de vazamento temporal, para treinamento e serving de modelos.

Com foco em qualidade, privacidade e desempenho, você trabalhará com Databricks, Delta Lake e ferramentas associadas, assegurando que datasets sejam consistentes e auditáveis, em um ambiente de pagamentos

Qualifications

• 5+ anos em Engenharia de Dados ou de Machine Learning.
• Domínio de Spark/PySpark, Delta Lake e SQL avançado, com experiência no ecossistema Databricks.

Responsibilities

• Implementar pipelines de dados com Databricks (Unity Catalog, Delta).
• Desenvolver tabelas as-of / point-in-time e snapshots para treino de modelos.
• Trabalhar com sequências em escala: tokenizar dados e configurar dataloaders eficientes para GPU.
• Monitorar qualidade de dados, esquemas, drift, nulos e duplicidade.
• Aplicar LGPD e controles de privacidade com trilhas de auditoria.
• Desenvolver serving de features com baixa latência e logs de chamadas.

Skills

Spark/PySpark

Delta Lake

SQL Avançado

Python

Tools

Databricks

MLflow

PyTorch

Feature Store

Job description

Quem é a Dock?

Há mais de 20 anos, cumprimos a missão de democratizar o acesso a serviços financeiros, tornando experiências financeiras mais simples e acessíveis. Somos um time de pessoas obstinadas, que acreditam na tecnologia e nos serviços como os principais facilitadores para a evolução de nossos clientes e a transformação do papel das finanças. Atuando em 11 localidades pela América Latina, trabalhamos sob o propósito de desmaterializar o universo financeiro para impulsionar a sociedade.

Como é o nosso time de Plataforma de Dados?

Você fará parte de um time focado na construção de pipelines que transformam o nosso data lake em datasets de eventos confiáveis, versionados e sem vazamento temporal. Nossa missão é garantir a fundação de dados para o treinamento, avaliação e serving de modelos de fundação. Sem dado correto no tempo correto, nenhum modelo vale algo, e você será a pessoa responsável por garantir isso.

E o dia a dia, como será?

Buscamos por talentos inigualáveis para nos ajudar a espalhar o poder financeiro! Nesta função, você irá:

• Implementar Extração Reprodutível: Construir pipelines a partir do Databricks (Unity Catalog, Delta), aplicando contratos de dados, particionamento e amostragem determinística.

• Construir Históricos Confiáveis: Desenvolver tabelas as-of / point-in-time e snapshots, tratando os dados que só guardam o último valor como risco direto para o treinamento de modelos.

• Trabalhar com Sequências em Escala: Tokenizar e empacotar dados de sequência (Parquet por faixa de tamanho, batching dinâmico) e estruturar dataloaders eficientes para processamento em GPU.

• Garantir a Qualidade e Monitoramento: Vigiar a saúde dos dados de sequência (esquemas, drift, nulos, duplicidade e identidade das entidades).

• Aplicar Privacidade na Prática: Estruturar pseudonimização, controle de acesso e trilhas de auditoria, alinhados rigorosamente à LGPD e aos requisitos de segurança de pagamentos.

• Construir Serving de Features: Estruturar a camada de inferência (serving) de features e embeddings com baixa latência, mantendo logs de chamadas para reconstruir exatamente o que o modelo avaliou em cada decisão.

O que esperamos de você?

• 5+ anos de sólida experiência em Engenharia de Dados ou de Machine Learning.

• Domínio de Spark/PySpark, Delta Lake e SQL avançado, com vivência prévia no ecossistema Databricks.

• Proficiência em Python para produção, incluindo testes e CI voltados a pipelines de dados.

• Experiência consolidada lidando com dados transacionais sensíveis e entendimento prático aprofundado sobre vazamento temporal (data leakage) e snapshots.

• Postura rigorosa e questionadora: versionar o dataset junto com o código, escrever contratos de dados antes do pipeline e, principalmente, perguntar primeiro se "esse dado existia na hora da decisão?".

É desejável que você tenha:

• Conhecimento em MLflow, Feature Store, Ray e fluxos de dados em streaming.

• Vivência prática com PyTorch DataLoader ou processos de leitura em streaming voltados para treinamento de modelos.

• Experiência nos domínios de pagamentos, transações Pix, cartões de crédito ou adquirência.

• Noções de infraestrutura como código (Terraform) e modelagem voltada a serving de baixa latência.

E quais são os benefícios?

• Auxílio alimentação (mercado & restaurante);

• Plano de saúde e odontológico;

• Hospital digital;

• Suporte psicológico para psicoterapia online;

• Orientação ergonômica;

• Wellhub e TotalPass;

• Auxílio mensal para despesas remote first;

• Previdência privada após 6 meses de trabalho;

• Licença parental estendida;

• Auxílio creche;

• Auxílio para pais de filhos especiais;

• Plataforma de idiomas;

• Disponibilidade de coworking no Brasil inteiro.