Data Engineer (Pl)

Zappts; Brasil; Remote; BRL 120,000 - 190,000; Full time

Benefits offered by this job

Wellhub fitness

Creche auxílio

Plano de saúde Amil

Seguro odontológico

Cartão CAJU – alimentação/mobilidade

Desconto em farmácias

Seguro de vida

Job summary

Zappts procura Engenheiro de Dados Pleno para atuar em projeto estratégico com foco em processamento e disponibilização de informações transacionais em tempo real. Você fará parte de um time responsável pela sustentação, evolução e otimização de uma plataforma de dados de alto desempenho.

Buscamos experiência prática em processamento distribuído, com autonomia para conduzir demandas técnicas, visando alta disponibilidade e integração entre sistemas, bancos NoSQL e mensageria como Kafka.

Qualifications

• Conhecimento prático em Apache Spark e Spark Streaming.
• Experiência com Databricks.
• Conhecimento em processamento de dados em tempo real (Real-Time Processing).
• Experiência com pipelines de dados e integração entre sistemas.
• Conhecimento em Kafka ou tecnologias de mensageria e streaming.
• Familiaridade com MongoDB.

Responsibilities

• Desenvolver, manter e evoluir pipelines de dados com processamento em tempo real.
• Atuar com Apache Spark e Spark Streaming no processamento e enriquecimento de dados.
• Trabalhar com Databricks no desenvolvimento e na otimização de soluções de engenharia de dados.
• Participar da integração de dados utilizando Kafka e tecnologias de streaming de eventos.
• Atuar na sustentação de ambientes produtivos, investigando incidentes e implementando soluções.
• Contribuir para processos de replicação, transformação e disponibilização de dados.
• Trabalhar com bancos de dados, incluindo MongoDB.
• Participar das etapas de desenvolvimento, testes, homologação (UAT) e implantação em produção.
• Identificar oportunidades de melhoria relacionadas a desempenho, escalabilidade e disponibilidade.
• Conduzir demandas técnicas com autonomia, mantendo alinhamento com a equipe.

Skills

Spark & Spark Streaming

Real-Time Processing

Data pipelines

Tools

Databricks

Kafka

MongoDB

NoSQL databases

Job description

Você vai atuar em umasquad enxuta e sênior, alocada em um dos maiores players do setor de pagamentos/financeiro, em uma frente de transformação AI-First aplicada a um pipeline de conciliação financeira de alta complexidade. Aqui, engenharia de dados vai muito além de ingerir fontes e alimentar um data lake. O principal desafio está em transformar dado bruto em informação confiável, conectada e pronta para alimentar LLMs, agentes e automações.

Você vai trabalhar desde a camada bronze até a construção da camada de conhecimento, criando estruturas que permitam substituir etapas hoje manuais por automações e agentes, com rastreabilidade, qualidade e integração até a última milha financeira e contábil.

Sobre o projeto:

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de engenharia de dados, com foco no processamento e na disponibilização de informações transacionais em tempo real.

Você fará parte de um time responsável pela sustentação, evolução e otimização de uma plataforma de dados que processa grandes volumes de transações, garantindo alta disponibilidade, confiabilidade e eficiência das informações disponibilizadas aos clientes.

Buscamos uma pessoa com experiência prática em engenharia de dados, conhecimento em processamento distribuído e capacidade de conduzir demandas técnicas com autonomia, contribuindo para a evolução contínua das soluções.

Como será seu dia a dia?

• Desenvolver, manter e evoluir pipelines de dados com processamento em tempo real.
• Atuar com Apache Spark e Spark Streaming no processamento e enriquecimento de dados.
• Trabalhar com Databricks no desenvolvimento e na otimização de soluções de engenharia de dados.
• Participar da integração de dados utilizando Kafka e tecnologias de streaming de eventos.
• Atuar na sustenteção de ambientes produtivos, investigando incidentes e implementando soluções.
• Contribuir para processos de replicação, transformação e disponibilização de dados.
• Trabalhar com bancos de dados, incluindo MongoDB.
• Participar das etapas de desenvolvimento, testes, homologação (UAT) e implantação em produção.
• Identificar oportunidades de melhoria relacionadas a desempenho, escalabilidade e disponibilidade.
• Conduzir demandas técnicas com autonomia, mantendo alinhamento com a equipe.

O que você precisa ter?

• Conhecimento prático em Apache Spark e Spark Streaming.
• Experiência com Databricks.
• Conhecimento em processamento de dados em tempo real (Real-Time Processing).
• Experiência com pipelines de dados e integração entre sistemas.
• Conhecimento em Kafka ou tecnologias de mensageria e streaming.
• Familiaridade com bancos de dados NoSQL, especialmente MongoDB.
• Conhecimento em processos de replicação de dados.
• Vivência com sustentação de aplicações e resolução de incidentes em produção.
• Conhecimentos em arquitetura de dados, alta disponibilidade e processamento distribuído.
• Experiência ou familiaridade com desenvolvimento de sistemas.

Além disso, se tiver os itens abaixo, será ainda melhor!

• Conhecimento em Oracle GoldenGate.
• Experiência com Java ou desenvolvimento de aplicações.
• Vivência em ambientes de alta volumetria e alta disponibilidade.
• Experiência com sistemas transacionais.
• Atuação anterior em empresas de meios de pagamento, instituições financeiras ou varejo.
• Conhecimento em arquitetura de soluções orientadas a eventos.

O que vamos te oferecerpara que realize um trabalho incrível?

• Sabe a vida fitness? Está garantida! Temos Wellhub (Antigo Gympas) para cuidar da sua saúde física e mental, além de ginástica laboral com uma personal trainer pra lá de animada!
• Temos auxílio-creche para mães e pais!
• Também nos preocupamos com a sua saúde,por isso oferecemos o plano de saúde Amil com cobertura nacional e sem mensalidade;
• Queremosver a felicidade estampada no seu rosto, por isso temos convênio odontológico para você ostentar aquele sorrisão!
• Somos flexíveis! Temos o Cartão Cajú com bandeira Visa para sua alimentação, refeição ou mobilidade.
• Zappters possuem aqueledescontão! Oferecemos descontode até 35% para compra em farmácias selecionadas;
• Seguro de vida.

Para apoiar seu dia a dia:

• Atuação remote first, nossa tribo trabalha de qualquer lugar no Brasil.
• Auxílio home office mensal todos os meses para investir em um setup incrível.
• Voucher para Happy Hour & Fun com o time para celebrar as conquistas!
• Prêmio para indicações assertivas de novos Zappters.

Para desenvolver sua carreira:

• Acada 6 meses de empresa, vocêganha um auxílio no valor de R$300 para investir na sua educação. Além de ter descontos incríveis na mensalidade de vários cursos (afinal, os Zappters adoram aprender!)
• Bônus "meu mimo" para deixar o momento da alteração salarial mais memorável! Você receberá um bônus (na mesma semana) no valor do seu aumento para comprar um presente especial para você, afinal você merece!

Também é legal você saber que...

Um dos nossos 7 valores é o “Sawabona", seu significado é pra lá de especial, e praticado diariamente aqui na Zappts!

A saudação #Sawabona se originou no Sul da África, onde se acredita que todos nascemos pessoas boas, mas que, às vezes, podem cometer alguns erros. Segundo a cultura deste lugar, quando alguém comete erros, toda a população se junta e, durante dois dias, só falam sobre as coisas boas que aquela pessoa já fez. Ao final desse período, todo o povo cumprimenta seu conterrâneo com a expressão "Sawabona". Esse, por sua vez, responde "#Shikoba".

Sendo assim, Sawabona significa: "Eu te vejo, eu te respeito, você é importante para mim". E a resposta, Shikoba: "Então eu sou bom e existo para você".

Aqui na Zappts, Sawabona traduz e representa o que mais prezamos em nossas relações: o respeito e a valorização do outro.