Sênior Data Engineer

Zappts; United States; Remote; USD 63,000 - 102,000; Full time

Benefits offered by this job

Plano de saúde Amil

Plano odontológico

Wellhub gym

Auxílio-creche

Cartão Cajú alimentação

Desconto em farmácias

Seguro de vida

Auxílio home office

Voucher Happy Hour

Job summary

A Zappts está buscando um Engenheiro de Dados Sênior para atuar em um projeto estratégico no setor de pagamentos, transformando dados transacionais brutos em informações confiáveis para alimentar LLMs, agentes e automações.

Você irá sustentar e evoluir uma arquitetura de dados de alta disponibilidade, com streaming, processamento distribuído e integração entre sistemas, visando escalabilidade e confiabilidade em produção.

Qualifications

• Engenharia de Dados com atuação em tempo real.
• Domínio de streaming e processamento distribuído.
• Experiência com Databricks e Spark.
• Conhecimento de integração de sistemas por streaming.

Responsibilities

• Desenvolver, sustentar e evoluir arquiteturas de processamento de dados em tempo real.
• Atuar com Apache Spark e Spark Streaming em soluções de processamento distribuído.
• Desenvolver e otimizar pipelines utilizando Databricks.
• Trabalhar com integração e streaming de eventos utilizando Kafka.
• Atuar em processos de replicação de dados, incluindo Oracle GoldenGate.
• Garantir a confiabilidade, disponibilidade e eficiência dos fluxos de dados.
• Investigar, diagnosticar e solucionar incidentes complexos em ambientes produtivos.
• Contribuir para decisões técnicas relacionadas à arquitetura e à evolução da plataforma.

Skills

Apache Spark

Spark Streaming

Databricks

Kafka

MongoDB

Alta disponibilidade

Tools

Oracle GoldenGate

Java

MongoDB

Job description

Você vai atuar em umasquad enxuta e sênior, alocada em um dos maiores players do setor de pagamentos/financeiro, em uma frente de transformação AI-First aplicada a um pipeline de conciliação financeira de alta complexidade.Aqui, engenharia de dados vai muito além de ingerir fontes e alimentar um data lake. O principal desafio está em transformar dado bruto em informação confiável, conectada e pronta para alimentar LLMs, agentes e automações.

Você vai trabalhar desde a camada bronze até a construção da camada de conhecimento, criando estruturas que permitam substituir etapas hoje manuais por automações e agentes, com rastreabilidade, qualidade e integração até a última milha financeira e contábil.

Gostou? Então, junte-se a nós!

Sobre o projeto:

Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de engenharia de dados, responsável pelo processamento e pela disponibilização de informações transacionais em tempo real.

A oportunidade envolve a sustentação, evolução e otimização de uma arquitetura de dados de alta disponibilidade, que utiliza tecnologias de streaming e processamento distribuído para garantir a entrega de informações aos sistemas e serviços da plataforma.

Buscamos um(a) profissional com sólida experiência técnica, visão de arquitetura e capacidade de atuar de forma independente na resolução de problemas complexos.

Você terá um papel importante na evolução tecnológica da solução, contribuindo para a confiabilidade, escalabilidade e eficiência dos processos de dados.

Como será seu dia a dia?

• Desenvolver, sustentar e evoluir arquiteturas de processamento de dados em tempo real.
• Atuar com Apache Spark e Spark Streaming em soluções de processamento distribuído.
• Desenvolver e otimizar pipelines utilizando Databricks.
• Trabalhar com integração e streaming de eventos utilizando Kafka.
• Atuar em processos de replicação de dados, incluindo Oracle GoldenGate.
• Garantir a confiabilidade, disponibilidade e eficiência dos fluxos de dados.
• Investigar, diagnosticar e solucionar incidentes complexos em ambientes produtivos.
• Desenvolver soluções para enriquecimento, transformação e disponibilização de dados.
• Contribuir para a evolução de arquiteturas escaláveis e de alta disponibilidade.
• Conduzir demandas técnicas de ponta a ponta, desde o entendimento do problema até a implantação e sustentação em produção.
• Participar de processos de homologação (UAT), validação técnica e implantação.
• Identificar gargalos de desempenho e propor melhorias estruturais.
• Apoiar tecnicamente outros profissionais da equipe quando necessário.
• Contribuir para decisões técnicas relacionadas à arquitetura e à evolução da plataforma.

O que você precisa ter?

• Sólida experiência em Engenharia de Dados.
• Domínio de Apache Spark e Spark Streaming, incluindo seus conceitos e aplicações em processamento distribuído.
• Experiência consistente com Databricks.
• Experiência com processamento de dados em tempo real e arquiteturas orientadas a eventos.
• Conhecimento em Kafka e integração de sistemas por streaming.
• Experiência com replicação de dados e familiaridade com Oracle GoldenGate.
• Conhecimento em bancos de dados NoSQL, especialmente MongoDB.
• Vivência com arquiteturas de alta disponibilidade e sistemas de grande volumetria.
• Experiência em desenvolvimento, sustentação e evolução de soluções em produção.
• Conhecimento sólido em arquitetura de dados e integração entre sistemas.
• Capacidade de diagnosticar e resolver problemas complexos de desempenho e processamento.
• Vivência em desenvolvimento de sistemas e compreensão de conceitos de engenharia de software.
• Capacidade de avaliar tecnologias e propor soluções adequadas às necessidades do negócio.

Além disso, se tiver os itens abaixo, será ainda melhor!

• Experiência com Java ou outras linguagens utilizadas no desenvolvimento de sistemas.
• Vivência com Oracle GoldenGate em processos de replicação de dados.
• Experiência em plataformas transacionais de alta disponibilidade.
• Atuação em ambientes com processamento de grandes volumes de dados em tempo real.
• Experiência no setor financeiro, meios de pagamento ou varejo.
• Conhecimento em arquitetura de microsserviços e sistemas distribuídos.
• Vivência com modernização e evolução de arquiteturas de dados.

O que vamos te oferecerpara que realize um trabalho incrível?

• Sabe a vida fitness? Está garantida! Temos Wellhub (Antigo Gympas) para cuidar da sua saúde física e mental, além de ginástica laboral com uma personal trainer pra lá de animada!
• Temos auxílio-creche para mães e pais!
• Também nos preocupamos com a sua saúde,por isso oferecemos o plano de saúde Amil com cobertura nacional e sem mensalidade;
• Queremos ver a felicidade estampada no seu rosto, por isso temos convênio odontológico para você ostentar aquele sorrisão!
• Somos flexíveis! Temos o Cartão Cajú com bandeira Visa para sua alimentação, refeição ou mobilidade.
• Zappters possuem aqueledescontão! Oferecemos descontode até 35% para compra em farmácias selecionadas;
• Seguro de vida.

Para apoiar seu dia a dia:

• Atuação remote first, nossa tribo trabalha de qualquer lugar no Brasil.
• Auxílio home office mensal todos os meses para investir em um setup incrível.
• Voucher para Happy Hour & Fun com o time para celebrar as conquistas!
• Prêmio para indicações assertivas de novos Zappters.

Para desenvolver sua carreira:

• Acada 6 meses de empresa, vocêganha um auxílio no valor de R$300 para investir na sua educação. Além de ter descontos incríveis na mensalidade de vários cursos (afinal, os Zappters adoram aprender!)
• Bônus "meu mimo" para deixar o momento da alteração salarial mais memorável! Você receberá um bônus (na mesma semana) no valor do seu aumento para comprar um presente especial para você, afinal você merece!

Um dos nossos 7 valores é o “Sawabona", seu significado é pra lá de especial, e praticado diariamente aqui na Zappts!

A saudação #Sawabona se originou no Sul da África, onde se acredita que todos nascemos pessoas boas, mas que, às vezes, podemos cometer alguns erros. Segundo a cultura deste lugar, quando alguém comete erros, toda a população se junta e, durante dois dias, só falam sobre as coisas boas que aquela pessoa já fez. Ao final desse período, todo o povo cumprimenta seu conterrâneo com a expressão "Sawabona". Esse, por sua vez, responde "#Shikoba".

Sendo assim, Sawabona significa: "Eu te vejo, eu te respeito, você é importante para mim". E a resposta, Shikoba: "Então eu sou bom e existo para você".

Se você é uma pessoa apaixonada por tecnologia e sentiu conexão com os nossos valores, venha para nossa tribo aqui é seu lugar!