[Job-31682] Senior Data Engineer [Databricks]

Lever, Inc.; Brasil; Teletrabalho; BRL 180 000 - 340 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde e odontológico

Vale alimentação e refeição

Auxílio-creche

Licença parental estendida

PLR

Resumo da oferta

CI&T procura profissional para atuar em plataforma de dados, estruturando pipelines no Databricks e Orquestrando fluxos com foco em qualidade de dados e escalabilidade. O papel envolve trabalhar com AWS e arquitetura em camadas Bronze/Silver/Gold, com colaboração entre squads de plataforma e produto, em um ambiente de crescimento acelerado.

Você fará parte de times dedicados à transformação de dados em produtos monetizáveis, participando ativamente da evolução de nossa solução de dados e da

Qualificações

• Proeficiência em Databricks é requisito central do projeto.
• Conhecimento sólido de Apache Spark para pipelines de dados.
• Experiência em engenharia de dados/ETL com arquitetura em camadas Bronze/Silver/Gold.
• Experiência em orquestração de pipelines de dados.
• Experiência implementando processos de qualidade de dados em pipelines produtivos.
• Familiaridade com ambiente cloud AWS (S3, DynamoDB) — foco em Databricks.

Responsabilidades

• Atuar na esteira completa dos dados, desde ingestão até entrega ao cliente.
• Substituir orquestração manual por orquestração automatizada Databricks.
• Implementar processos de qualidade de dados entre todas as camadas do pipeline.
• Desenvolver e parametrizar fluxos existentes já desenhados pela equipe.
• Contribuir com módulos correlatos como billing de dados e distribuição de arquivos.

Conhecimentos

Databricks

Apache Spark

Data Engineering/ETL

Orquestração de pipelines

Qualidade de dados

AWS (S3, DynamoDB)

Ferramentas

Terraform

Databricks Asset Bundles

Airflow

AWS S3

DynamoDB

Descrição da oferta de emprego

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Na CI&T, há mais de um ano, estamos liderando a transformação digital do e-commerce multicanal de um dos maiores varejistas farmacêuticos do Brasil. Agora, estamos em busca de pessoas apaixonadas por tecnologia e inovação para integrar nossos times Hiper Eficientes e acelerar projetos com Inteligência Artificial!

Com o suporte do CI&T Flow, nossa IA revolucionária, você terá acesso às melhores ferramentas para maximizar eficiência, criatividade e impacto nos projetos. Aqui, trabalhamos com tecnologia de ponta que não só transforma, mas também redefine os padrões do mercado.

Se você busca crescimento, inovação e a chance de moldar o futuro, essa é a sua oportunidade. Venha fazer parte de uma equipe que inspira mudanças e cria soluções extraordinárias.
Seja protagonista da revolução tecnológica com a CI&T.

Projeto para estruturar e acelerar a plataforma de dados de uma tribo que já opera 700+ pipelines em Databricks, responsáveis por produtos de dados monetizados pela empresa. A solução cresceu em "modo aceleração" (construir primeiro, desenhar depois) e agora precisa de maturidade técnica: orquestração automatizada, qualidade de dados ponta a ponta e centralização dos motores de distribuição.

Responsabilidades

• - Atuar na esteira completa dos dados: ingestão (pouso no Lake/S3) → camada Bronze → Silver → Gold → feature store → camada de distribution (produto final) → entrega ao cliente (API, arquivo/batch, SFTP, bucket, DynamoDB).
• - Substituir a orquestração manual atual (execução sequencial de fluxos, monitorada "na mão") por orquestração automatizada nativa do Databricks.
• - Implementar processos de qualidade de dados entre todas as camadas do pipeline (do pouso no Lake até a entrega final ao cliente).
• - Desenvolver e parametrizar fluxos existentes (parte do desenho/arquitetura já está pronta — o time precisa de capacidade de execução, não de redesenho do zero).
• - Contribuir com o desenvolvimento de módulos correlatos:
• - Motor de faturamento — billing dos consumos de dados dos produtos.
• - Motor de arquivaria — padronização da distribuição de arquivos para múltiplos canais de cliente (bucket, SFTP, Connect etc.), hoje fragmentado entre Airflow e Databricks.

Hard Skills (obrigatórias)

• - Databricks — proficiência é o requisito central do projeto (não apenas conhecimento básico).
• - Apache Spark — core de execução dos pipelines.
• - Engenharia de dados / ETL, com domínio de arquitetura em camadas (medalhão: Bronze/Silver/Gold).
• - Experiência com orquestração de pipelines de dados.
• - Experiência implementando frameworks/processos de qualidade de dados em pipelines produtivos.
• - Familiaridade com ambiente cloud AWS (S3, DynamoDB) — arquitetura é híbrida (AWS + Databricks), mas o foco do projeto é Databricks.

Hard Skills (desejáveis)

• - Terraform.
• - Databricks Asset Bundles (DAB).
• - Experiência com distribuição de dados via múltiplos canais (SFTP, buckets, APIs).
• - Vivência com produtos de dados / dados como produto monetizável.

Soft Skills

• - Autonomia e capacidade de execução — o desenho e a definição do que precisa ser feito já existem; a demanda é por capacidade de execução com pouca curva de aprendizado.
• - Onboarding rápido em ambientes já documentados/estruturados, mas com histórico de crescimento acelerado (nem tudo é "clean").
• - Conforto para atuar em contexto de ritmo acelerado (built-first, design-later), lidando com soluções construídas em cima de MVPs que agora precisam ser centralizadas/padronizadas.
• - Colaboração cross-squad (interface com squads de plataforma, produto/canal digital e times internos de engenharia).

Nossos benefícios:

• - Plano de saúde e odontológico;
• - Vale alimentação e refeição;
• - Auxílio-creche;
• - Licença parental estendida;
• - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
• - Participação nos Lucros e Resultados (PLR);
• - Seguro de Vida;
• - Plataforma de aprendizagem contínua (CI&T University);
• - Clube de descontos;
• - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• - Curso gestante e parentalidade responsável;
• - Parceria com plataformas de cursos online;
• - Plataforma para aprendizagem de idiomas;
• - E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.