Senior /Master Data Developer, Brazil

CI&T Software S.A.; Campinas; Híbrido; BRL 180 000 - 260 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde

Plano odontológico

Vale alimentação/refeição

Auxílio-creche

Licença parental ampliada

PLR

Seguro de vida

CI&T University

Resumo da oferta

A CI&T Software S.A. procura um Data Developer Sênior para liderar a refatoração de lógicas Databricks para padrões ELT na arquitetura de dados em nuvem. Você atuará na construção de pipelines escaláveis e na garantia de contratos de dados que suportam dashboards em produção.

O profissional trabalhará próximo aos times de negócio, migrando cargas legadas para BigQuery, Dataform e Dataproc, mantendo conformidade e qualidade de dados em toda a stack.

Qualificações

• Experiência prática com Python, PySpark e SQL para processamento de dados em larga escala.
• Migração de data lakes e refatoração de código legado para componentes nativos na nuvem.
• Domínio do ecossistema Google Cloud (BigQuery, Dataform, Dataproc Serverless).
• Compreensão de Medallion Architecture (Raw/Bronze, Silver/Trusted Core, Gold) e modelagem estrela/One Big Table.
• Conhecimento de GitOps, CI/CD, Airflow/Composer e orquestração de pipelines.

Responsabilidades

• Refatorar notebooks legados Databricks para padrões ELT modernos e SQL declarativo.
• Preservar contratos de dados durante migração com camadas Trusted Core e visualizações reversas.
• Desenvolver pipelines de ingestão escaláveis com configurações YAML e DAGs automáticos.
• Aplicar validações de qualidade de dados e garantias de unicidade e conformidade de domínio.
• Executar validações técnicas entre ambiente legado e nova plataforma para parity de registros e campos.
• Colaborar com Data Stewards e times de negócio para validar outputs migrados.

Conhecimentos

Python

PySpark

SQL

ELT/ETL

Data Pipelines

BigQuery

Data Vault

Databricks

Airflow/Composer

GitOps

Cloud Google Cloud

Ferramentas

Databricks

Azure Data Factory

Dataproc

Dataform

Descrição da oferta de emprego

Este site está equipado com recursos de acessibilidade. Pressione option+c para ativar o perfil cego ou option+p para acessar o menu de acessibilidade e ajuste a experiência de navegação de acordo com suas necessidades. Skip to main content

Follow us

Senior /Master Data Developer, Brazil

Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Nosso cliente está conduzindo uma modernização massiva de seus pipelines de dados, migrando cargas de trabalho legadas em Databricks para uma nova arquitetura nativa no Google Cloud. Esta posição é central para essa transformação: o profissional atuará como um dos pilares hands-on da refatoração, transformando lógicas complexas de processamento distribuído em padrões modernos de ELT, sem comprometer a continuidade das integrações já existentes.

O Data Developer Senior atua na conversão direta de notebooks legados, na construção de pipelines de ingestão escaláveis e na garantia de que a arquitetura em camadas (Raw, Trusted Core e Gold) preserve os contratos de dados que sustentam sistemas e dashboards em produção. O papel combina profundidade técnica na reengenharia de código acoplado com colaboração próxima aos times de negócio para validar cada etapa da migração.

• Code Refactoring: Translates legacy Databricks notebook logic into modern ELT patterns, prioritizing declarative SQL-based transformation for standard cases and developing Python-based distributed processing routines for intricate logic (such as RDD-based operations).
• Data Contract Preservation: Ensures backward compatibility during migration by implementing trusted-core layering and reverse-view strategies, preventing breaking changes for downstream consuming systems and dashboards.
• Ingestion Pipeline Development: Builds scalable ingestion pipelines by parameterizing YAML configurations that feed an automated DAG generation pipeline, orchestrated through a workflow scheduler and consuming standardized processing templates.
• Data Quality Implementation: Applies synchronous and unit-level assertions within the transformation layers to prevent null values, enforce key uniqueness, and validate domain conformity.
• Migration Validation: Executes technical validation projects by reconciling data output between the legacy environment and the new platform, confirming record-level and field-level parity ("cara-a-crachá") checks.
• GitOps Development: Follows strict CI/CD workflows through feature branches, pull requests, and automated deployment pipelines to development and production environments.
• Cross-Team Alignment: Collaborates consultatively with business Data Stewards to align integration dependencies, negotiate refactoring scope, and validate migrated outputs side by side with stakeholders.

• Strong, hands-on technical depth in Python, PySpark, and advanced SQL for large-scale distributed data processing
• Robust experience migrating data lakes and refactoring legacy code, including reverse-engineering tightly coupled logic (such as Databricks or Azure Data Factory pipelines) into modular cloud-native components
• Practical mastery of the Google Cloud data engineering ecosystem, particularly BigQuery, Dataform, and Dataproc Serverless
• Solid understanding of Medallion Architecture (Raw/Bronze, Silver/Trusted Core, Gold) and analytical data modeling strategies, including Star Schema and One Big Table approaches
• Hands-on experience with modern GitOps development flows (code review, pull request submission) and orchestration automation using Airflow/Composer
• Maturity in data quality practices, with testing applied directly to transformation pipelines
• Consultative, collaborative communication style to align cross-team dependencies, negotiate refactoring scope, and validate outcomes alongside business Data Stewards

• Experience applying Generative AI agents (such as Gemini, Vertex AI, or Claude) to automate PySpark-to-SQL code refactoring, dependency graph analysis, or automated documentation generation
• Prior experience with Change Data Capture (CDC) architectures and event-driven ingestion patterns
• Strong performance tuning skills in BigQuery, including query optimization, partitioning strategies, and execution cost control
• Deep knowledge of the boundaries between Data Vault and Star Schema modeling approaches for trusted/silver layers

• - Plano de saúde e odontológico;
• - Vale alimentação e refeição;
• - Auxílio-creche;
• - Licença parental estendida;
• - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
• - Participação nos Lucros e Resultados (PLR);
• - Seguro de Vida;
• - Plataforma de aprendizagem contínua (CI&T University);
• - Clube de descontos;
• - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• - Curso gestante e parentalidade responsável;
• - Parceria com plataformas de cursos online;
• - Plataforma para aprendizagem de idiomas;
• - E muitos outros Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo.

Consulte quais dados são necessários conter no laudo clicando aqui.

Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.