[Job-31682] Senior Data Engineer [Databricks]

Ciandt; Brasil; Presencial; BRL 180 000 - 320 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde e odontológico

Vale alimentação e refeição

Auxílio-creche

Licença parental estendida

PLR

Resumo da oferta

A CI&T busca profissional com experiência em Databricks e Apache Spark para estruturar e acelerar a plataforma de dados de uma tribo que opera 700+ pipelines, com monetização de dados. Você trabalhará na orquestração automatizada, qualidade de dados ponta a ponta e centralização dos motores de distribuição, em ambiente híbrido AWS+Databricks.

O papel requer autonomia, execução rápida, onboarding em ambientes já documentados, e colaboração cross-squad com times de plataforma, produto digital e

Qualificações

• Hard skills centrais: Databricks, Spark e engenharia de dados em pipelines em camadas Bronze/Silver/Gold.
• Domínio de orquestração de pipelines de dados e qualidade de dados em produção.
• Familiaridade com ambiente híbrido AWS+Databricks, com foco em Databricks.

Responsabilidades

• Atuar na esteira completa dos dados: ingestão até entrega ao cliente (API/arquivo/SFTP).
• Substituir a orquestração manual atual por orquestração automatizada nativa do Databricks.
• Implementar processos de qualidade de dados entre as camadas do pipeline.
• Desenvolver e parametrizar fluxos existentes (desenho já pronto, foco em execução).
• Contribuir com módulos correlatos: motor de faturamento e motor de arquivaria.

Conhecimentos

Databricks

Apache Spark

Engenharia de dados

ETL

Orquestração de pipelines

Qualidade de dados

AWS

Ferramentas

Terraform

Databricks Asset Bundles

Distribuição de dados via múltiplos canais

APIs

Descrição da oferta de emprego

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Na CI&T, há mais de um ano, estamos liderando a transformação digital do e-commerce multicanal de um dos maiores varejistas farmacêuticos do Brasil. Agora, estamos em busca de pessoas apaixonadas por tecnologia e inovação para integrar nossos times Hiper Eficientes e acelerar projetos com Inteligência Artificial!

Com o suporte do CI&T Flow, nossa IA revolucionária, você terá acesso às melhores ferramentas para maximizar eficiência, criatividade e impacto nos projetos. Aqui, trabalhamos com tecnologia de ponta que não só transforma, mas também redefine os padrões do mercado.

Se você busca crescimento, inovação e a chance de moldar o futuro, essa é a sua oportunidade. Venha fazer parte de uma equipe que inspira mudanças e cria soluções extraordinárias. Seja protagonista da revolução tecnológica com a CI&T.

Projeto para estruturar e acelerar a plataforma de dados de uma tribo que já opera 700+ pipelines em Databricks, responsáveis por produtos de dados monetizados pela empresa. A solução cresceu em "modo aceleração" (construir primeiro, desenhar depois) e agora precisa de maturidade técnica: orquestração automatizada, qualidade de dados ponta a ponta e centralização dos motores de distribuição.

Responsabilidades

• Atuar na esteira completa dos dados: ingestão (pouso no Lake/S3) → camada Bronze → Silver → Gold → feature store → camada de distribution (produto final) → entrega ao cliente (API, arquivo/batch, SFTP, bucket, DynamoDB).
• Substituir a orquestração manual atual (execução sequencial de fluxos, monitorada "na mão") por orquestração automatizada nativa do Databricks.
• Implementar processos de qualidade de dados entre todas as camadas do pipeline (do pouso no Lake até a entrega final ao cliente).
• Desenvolver e parametrizar fluxos existentes (parte do desenho/arquitetura já está pronta — o time precisa de capacidade de execução, não de redesenho do zero).
• Contribuir com o desenvolvimento de módulos correlatos:
  • Motor de faturamento — billing dos consumos de dados dos produtos.
  • Motor de arquivaria — padronização da distribuição de arquivos para múltiplos canais de cliente (bucket, SFTP, Connect etc.), hoje fragmentado entre Airflow e Databricks.

Hard Skills (obrigatórias)

• Databricks — proficiência é o requisito central do projeto (não apenas conhecimento básico).
• Apache Spark — core de execução dos pipelines.
• Engenharia de dados / ETL, com domínio de arquitetura em camadas (medalhão: Bronze/Silver/Gold).
• Experiência com orquestração de pipelines de dados.
• Experiência implementando frameworks/processos de qualidade de dados em pipelines produtivos.
• Familiaridade com ambiente cloud AWS (S3, DynamoDB) — arquitetura é híbrida (AWS + Databricks), mas o foco do projeto é Databricks.

Hard Skills (desejáveis)

• Terraform.
• Databricks Asset Bundles (DAB).
• Experiência com distribuição de dados via múltiplos canais (SFTP, buckets, APIs).
• Vivência com produtos de dados / dados como produto monetizável.

Soft Skills

• Autonomia e capacidade de execução — o desenho e a definição do que precisa ser feito já existem; a demanda é por capacidade de execução com pouca curva de aprendizado.
• Onboarding rápido em ambientes já documentados/estruturados, mas com histórico de crescimento acelerado (nem tudo é "clean").
• Conforto para atuar em contexto de ritmo acelerado (built-first, design-later), lidando com soluções construídas em cima de MVPs que agora precisam ser centralizadas/padronizadas.
• Colaboração cross-squad (interface com squads de plataforma, produto/canal digital e times internos de engenharia).

Nossos benefícios:

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio-creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T University);
• Clube de descontos;
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• Curso gestante e parentalidade responsável;
• Parceria com plataformas de cursos online;
• Plataforma para aprendizagem de idiomas;
• E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.