Sênior Data Engineer

Zappts; Brasil; Remote; BRL 180,000 - 300,000; Full time

Benefits offered by this job

Plano de saúde Amil com cobertura

Seguro de vida

Cartão CAJÚ (alimentação/mobilidade)

Auxílio-home-office mensal

Desconto em farmácias

Ginástica Wellhub

Creche/auxílio creche

Odontológico

Voucher Happy Hour

Bônus de indicação

Auxílio educaçao a cada 6 meses

Job summary

Zappts busca Engenheiro de Dados Sênior para atuar em projeto estratégico de dados, com processamento fiel a tempo real e alta disponibilidade. O profissional irá sustentar, evoluir e otimizar a arquitetura de dados, integrando fontes, eventos e serviços da plataforma.

Você trabalhará desde ingestão até camada de conhecimento, promovendo automações e soluções escaláveis, com forte foco em confiabilidade, performance e resolução de problemas complexos.

Qualifications

• Experiência sólida em Engenharia de Dados.
• Domínio de Apache Spark e Spark Streaming.
• Experiência com Databricks.
• Processamento de dados em tempo real e arquitetura orientada a eventos.
• Conhecimento em Kafka e integração de sistemas por streaming.
• Experiência com replicação de dados e Oracle GoldenGate.
• Conhecimento em MongoDB (NoSQL).
• Arquiteturas de alta disponibilidade e grandes volumes de dados.
• Desenvolvimento, sustentação e evolução de soluções em produção.
• Avaliação de tecnologias e propostas de soluções adequadas às necessidades do negócio.

Responsibilities

• Desenvolver arquiteturas de processamento de dados em tempo real.
• Atuar com Spark e Spark Streaming em soluções distribuídas.
• Desenvolver e otimizar pipelines com Databricks.
• Trabalhar com streaming de eventos usando Kafka.
• Atuar em replicação de dados, incluindo Oracle GoldenGate.
• Garantir confiabilidade, disponibilidade e eficiência dos fluxos de dados.
• Investigar, diagnosticar e resolver incidentes complexos em produção.
• Contribuir para evolução de arquiteturas escaláveis e de alta disponibilidade.
• Conduzir demandas técnicas ponta a ponta, da compreensão do problema à produção.
• Participar de homologação (UAT), validação técnica e implantação.

Skills

Apache Spark

Spark Streaming

Databricks

Kafka

Oracle GoldenGate

MongoDB

Arquitetura de dados

Alta disponibilidade

Processamento em tempo real

Tools

Databricks

Job description

Você vai atuar em umasquad enxuta e sênior, alocada em um dos maiores players do setor de pagamentos/financeiro, em uma frente de transformação AI-First aplicada a um pipeline de conciliação financeira de alta complexidade.Aqui, engenharia de dados vai muito além de ingerir fontes e alimentar um data lake. O principal desafio está em transformar dado bruto em informação confiável, conectada e pronta para alimentar LLMs, agentes e automações.

Você vai trabalhar desde a camada bronze até a construção da camada de conhecimento, criando estruturas que permitam substituir etapas hoje manuais por automações e agentes, com rastreabilidade, qualidade e integração até a última milha financeira e contábil.

Gostou? Então, junte-se a nós!

Sobre o projeto:

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de engenharia de dados, responsável pelo processamento e pela disponibilização de informações transacionais em tempo real.

A oportunidade envolve a sustentação, evolução e otimização de uma arquitetura de dados de alta disponibilidade, que utiliza tecnologias de streaming e processamento distribuído para garantir a entrega de informações aos sistemas e serviços da plataforma.

Buscamos um(a) profissional com sólida experiência técnica, visão de arquitetura e capacidade de atuar de forma independente na resolução de problemas complexos.

Você terá um papel importante na evolução tecnológica da solução, contribuindo para a confiabilidade, escalabilidade e eficiência dos processos de dados.

Como será seu dia a dia?

• Desenvolver, sustentar e evoluir arquiteturas de processamento de dados em tempo real.
• Atuar com Apache Spark e Spark Streaming em soluções de processamento distribuído.
• Desenvolver e otimizar pipelines utilizando Databricks.
• Trabalhar com integração e streaming de eventos utilizando Kafka.
• Atuar em processos de replicação de dados, incluindo Oracle GoldenGate.
• Garantir a confiabilidade, disponibilidade e eficiência dos fluxos de dados.
• Investigar, diagnosticar e solucionar incidentes complexos em ambientes produtivos.
• Desenvolver soluções para enriquecimento, transformação e disponibilização de dados.
• Contribuir para a evolução de arquiteturas escaláveis e de alta disponibilidade.
• Conduzir demandas técnicas de ponta a ponta, desde o entendimento do problema até a implantação e sustentação em produção.
• Participar de processos de homologação (UAT), validação técnica e implantação.
• Identificar gargalos de desempenho e propor melhorias estruturais.
• Apoiar tecnicamente outros profissionais da equipe quando necessário.
• Contribuir para decisões técnicas relacionadas à arquitetura e à evolução da plataforma.

O que você precisa ter?

• Sólida experiência em Engenharia de Dados.
• Domínio de Apache Spark e Spark Streaming, incluindo seus conceitos e aplicações em processamento distribuído.
• Experiência consistente com Databricks.
• Experiência com processamento de dados em tempo real e arquiteturas orientadas a eventos.
• Conhecimento em Kafka e integração de sistemas por streaming.
• Experiência com replicação de dados e familiaridade com Oracle GoldenGate.
• Conhecimento em bancos de dados NoSQL, especialmente MongoDB.
• Vivência com arquiteturas de alta disponibilidade e sistemas de grande volumetria.
• Experiência em desenvolvimento, sustentação e evolução de soluções em produção.
• Conhecimento sólido em arquitetura de dados e integração entre sistemas.
• Capacidade de diagnosticar e resolver problemas complexos de desempenho e processamento.
• Vivência em desenvolvimento de sistemas e compreensão de conceitos de engenharia de software.
• Capacidade de avaliar tecnologias e propor soluções adequadas às necessidades do negócio.

Além disso, se tiver os itens abaixo, será ainda melhor!

• Experiência com Java ou outras linguagens utilizadas no desenvolvimento de sistemas.
• Vivência com Oracle GoldenGate em processos de replicação de dados.
• Experiência em plataformas transacionais de alta disponibilidade.
• Atuação em ambientes com processamento de grandes volumes de dados em tempo real.
• Experiência no setor financeiro, meios de pagamento ou varejo.
• Conhecimento em arquitetura de microsserviços e sistemas distribuídos.
• Vivência com modernização e evolução de arquiteturas de dados.

O que vamos te oferecerpara que realize um trabalho incrível?

• Sabe a vida fitness? Está garantida! Temos Wellhub (Antigo Gympas) para cuidar da sua saúde física e mental, além de ginástica laboral com uma personal trainer pra lá de animada!
• Temos auxílio-creche para mães e pais!
• Também nos preocupamos com a sua saúde,por isso oferecemos o plano de saúde Amil com cobertura nacional e sem mensalidade;
• Queremos ver a felicidade estampada no seu rosto, por isso temos convênio odontológico para você ostentar aquele sorrisão!
• Somos flexíveis! Temos o Cartão Cajú com bandeira Visa para sua alimentação, refeição ou mobilidade.
• Zappters possuem aqueledescontão! Oferecemos descontode até 35% para compra em farmácias selecionadas;
• Seguro de vida.

Para apoiar seu dia a dia:

• Atuação remote first, nossa tribo trabalha de qualquer lugar no Brasil.
• Auxílio home office mensal todos os meses para investir em um setup incrível.
• Voucher para Happy Hour & Fun com o time para celebrar as conquistas!
• Prêmio para indicações assertivas de novos Zappters.

Para desenvolver sua carreira:

• Acada 6 meses de empresa, vocêganha um auxílio no valor de R$300 para investir na sua educação. Além de ter descontos incríveis na mensalidade de vários cursos (afinal, os Zappters adoram aprender!)
• Bônus "meu mimo" para deixar o momento da alteração salarial mais memorável! Você receberá um bônus (na mesma semana) no valor do seu aumento para comprar um presente especial para você, afinal você merece!

Um dos nossos 7 valores é o “Sawabona", seu significado é pra lá de especial, e praticado diariamente aqui na Zappts!

A saudação #Sawabona se originou no Sul da África, onde se acredita que todos nascemos pessoas boas, mas que, às vezes, podemos cometer alguns erros. Segundo a cultura deste lugar, quando alguém comete erros, toda a população se junta e, durante dois dias, só falam sobre as coisas boas que aquela pessoa já fez. Ao final desse período, todo o povo cumprimenta seu conterrâneo com a expressão "Sawabona". Esse, por sua vez, responde "#Shikoba".

Sendo assim, Sawabona significa: "Eu te vejo, eu te respeito, você é importante para mim". E a resposta, Shikoba: "Então eu sou bom e existo para você".

Se você é uma pessoa apaixonada por tecnologia e sentiu conexão com os nossos valores, venha para nossa tribo aqui é seu lugar!