[Job - 31575] Senior /Master Data Developer, Brazil

Ciandt; Brasil; Presencial; BRL 180 000 - 320 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde e odontológico

Vale alimentação e refeição

Auxílio-creche

Licença parental estendida

PLR

Seguro de Vida

CI&T University

Resumo da oferta

A CI&T, referência em transformação tecnológica, busca Data Developer Senior para liderar a modernização de pipelines de dados migrando Databricks para Google Cloud.

Você atuará como pilar hands-on da refatoração, convertendo notebooks legados em padrões ELT, assegurando contratos de dados e qualidade durante a migração.

Exige Python, PySpark, SQL avançado, BigQuery, Dataform e Airflow, além de GitOps, colaboração com times de negócio e presença obrigatória em Campinas.

Qualificações

• Experiência prática em Python, PySpark e SQL para processamento distribuído em larga escala.
• Migração de data lakes e refatoração de código legados (Databricks/Azure Data Factory) em componentes cloud-native.
• Domínio do ecossistema Google Cloud (BigQuery, Dataform, Dataproc Serverless).
• Conhecimento de Medallion Architecture (Raw/Bronze, Silver/Trusted Core, Gold) e modellagem analítica (Star Schema).
• Fluxos GitOps com revisão de código, PRs e pipelines de implantação (Airflow/Composer).
• Prática de qualidade de dados com asserts, checks de duplicidade e validação de conformidade de domínio.

Responsabilidades

• Refatorar notebooks legados Databricks para padrões ELT declarativos e rotinas Python para lógica complexa.
• Garantir preservação de contratos de dados durante migração e evitar quebras em dashboards.
• Desenvolver pipelines de ingestão escaláveis via YAML e DAGs automatizados.
• Aplicar validação de qualidade de dados nas transformações para evitar valores nulos e duplicidades.
• Conduzir validação técnica entre ambiente legado e nova plataforma, assegurando paridade de registros e campos.
• Contribuir com GitOps, revisões de código e pipelines de entrega para ambientes de desenvolvimento e produção.
• Colaborar com Data Stewards para alinhar dependências de integração e escopo de refatoração.

Conhecimentos

Python

PySpark

SQL avançado

GitOps

Airflow

Ferramentas

BigQuery

Dataform

Dataproc Serverless

Databricks

Azure Data Factory

Descrição da oferta de emprego

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Nosso cliente está conduzindo uma modernização massiva de seus pipelines de dados, migrando cargas de trabalho legadas em Databricks para uma nova arquitetura nativa no Google Cloud. Esta posição é central para essa transformação: o profissional atuará como um dos pilares hands‑on da refatoração, transformando lógicas complexas de processamento distribuído em padrões modernos de ELT, sem comprometer a continuidade das integrações já existentes.

O Data Developer Senior atua na conversão direta de notebooks legados, na construção de pipelines de ingestão escaláveis e na garantia de que a arquitetura em camadas (Raw, Trusted Core e Gold) preserve os contratos de dados que sustentam sistemas e dashboards em produção. O papel combina profundidade técnica na reengenharia de código acoplado com colaboração próxima aos times de negócio para validar cada etapa da migração.

Responsibilities:

• Code Refactoring: Translates legacy Databricks notebook logic into modern ELT patterns, prioritizing declarative SQL-based transformation for standard cases and developing Python-based distributed processing routines for intricate logic (such as RDD-based operations).
• Data Contract Preservation: Ensures backward compatibility during migration by implementing trusted-core layering and reverse-view strategies, preventing breaking changes for downstream consuming systems and dashboards.
• Ingestion Pipeline Development: Builds scalable ingestion pipelines by parameterizing YAML configurations that feed an automated DAG generation pipeline, orchestrated through a workflow scheduler and consuming standardized processing templates.
• Data Quality Implementation: Applies synchronous and unit-level assertions within the transformation layers to prevent null values, enforce key uniqueness, and validate domain conformity.
• Migration Validation: Executes technical validation projects by reconciling data output between the legacy environment and the new platform, confirming record‑level and field‑level parity ("cara-a-crachá" checks).
• GitOps Development: Follows strict CI/CD workflows through feature branches, pull requests, and automated deployment pipelines to development and production environments.
• Cross-Team Alignment: Collaborates consultatively with business Data Stewards to align integration dependencies, negotiate refactoring scope, and validate migrated outputs side by side with stakeholders.

Requirements:

• Strong, hands‑on technical depth in Python, PySpark, and advanced SQL for large-scale distributed data processing
• Robust experience migrating data lakes and refactoring legacy code, including reverse‑engineering tightly coupled logic (such as Databricks or Azure Data Factory pipelines) into modular cloud‑native components
• Practical mastery of the Google Cloud data engineering ecosystem, particularly BigQuery, Dataform, and Dataproc Serverless
• Solid understanding of Medallion Architecture (Raw/Bronze, Silver/Trusted Core, Gold) and analytical data modeling strategies, including Star Schema and One Big Table approaches
• Hands‑on experience with modern GitOps development flows (code review, pull request submission) and orchestration automation using Airflow/Composer
• Maturity in data quality practices, with testing applied directly to transformation pipelines
• Consultative, collaborative communication style to align cross‑team dependencies, negotiate refactoring scope, and validate outcomes alongside business Data Stewards

Nice to Have:

• Experience applying Generative AI agents (such as Gemini, Vertex AI, or Claude) to automate PySpark-to-SQL code refactoring, dependency graph analysis, or automated documentation generation
• Prior experience with Change Data Capture (CDC) architectures and event‑driven ingestion patterns
• Strong performance tuning skills in BigQuery, including query optimization, partitioning strategies, and execution cost control
• Deep knowledge of the boundaries between Data Vault and Star Schema modeling approaches for trusted/silver layers

Nossos benefícios:

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio‑creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem‑estar via Wellhub (Gympass) TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T University);
• Clube de descontos;
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem‑estar;
• Curso gestante e parentalidade responsável;
• Parceria com plataformas de cursos online;
• Plataforma para aprendizagem de idiomas;
• E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem‑estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.