[job-31693] Senior Data Developer, Brasil.

Ciandt; Brasil; Presencial; BRL 180 000 - 240 000; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde

Plano odontológico

Vale alimentação

Auxílio-creche

PLR

Seguro de Vida

CI&T University

Clube de descontos

Resumo da oferta

CI&T está conduzindo um programa de modernização de dados para um dos maiores sistemas de saúde da América Latina, migrando workloads para Databricks Lakehouse na Azure. A posição é de engenharia de dados com atuação hands-on, envolvendo análise, conversão e validação de workloads, com ênfase em uso de AI para coding agents e automação.

É requerido experiência sólida em pipelines de dados, SQL Server, SSIS, Databricks e Python, com comunicação em Português e Inglês suficiente para documentação

Qualificações

• Experiência sólida como Data Engineer ou Data Developer, preferencialmente sênior.
• Experiência prática com desenvolvimento e manutenção de pipelines de dados.
• Conhecimento avançado de SQL e capacidade de compreender consultas complexas.
• Experiência com SQL Server, incluindo T-SQL, stored procedures e SSIS.
• Conhecimento de Databricks ou Spark.
• Python para desenvolvimento de pipelines e automações.

Responsabilidades

• Analisar workloads legados como SSIS, views, stored procedures e pipelines PySpark/Sqoop.
• Converter e modernizar fluxos de dados para Databricks SQL, Spark SQL ou PySpark.
• Conduzir desenvolvimento assistido por AI com codificação, testes e documentação.
• Participar de code reviews e apoiar a equipe na investigação de problemas técnicos.
• Contribuir para o harness de migração com instruções, ferramentas e automações.

Conhecimentos

Data Engineer

Python

SQL

AI tooling

Ferramentas

SSIS

Databricks

Azure

SQL Server

Descrição da oferta de emprego

Na CI&T, ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.

Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.

Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Sobre a oportunidade

A CI&T está conduzindo um programa de modernização de dados de alta complexidade para um dos maiores sistemas de saúde da América Latina.

O programa envolve o assessment, a racionalização e a migração de milhares de workloads de dados, incluindo pipelines ETL, packages SSIS, stored procedures, SQL Agent Jobs, integrações cross-system e processos PySpark/Sqoop, de uma stack legada baseada principalmente em SQL Server e SSIS para uma plataforma moderna construída sobre Databricks Lakehouse na Azure.

Buscamos uma pessoa Senior Data Engineer com experiência prática em engenharia de dados e modernização de ambientes legados. Essa pessoa atuará na análise, conversão, implementação e validação dos workloads, trabalhando em conjunto com lideranças técnicas, arquitetos e especialistas do cliente.

Além da experiência em dados, buscamos alguém que utilize coding agents, como Claude Code, Codex ou ferramentas equivalentes, de forma estruturada no dia a dia. Esperamos que essa pessoa saiba usar AI para investigar código, implementar conversões, gerar testes, diagnosticar falhas e produzir documentação, mantendo senso crítico e responsabilidade sobre a qualidade do resultado.

A pessoa também contribuirá para a evolução do harness de migração: o conjunto de instruções, contexto, ferramentas, automações, testes e quality gates que permite aos agentes executar atividades de engenharia com maior segurança e previsibilidade.

Esta é uma posição de engenharia de dados com forte atuação hands-on. Não é necessário possuir experiência em pesquisa, treinamento ou desenvolvimento de modelos de linguagem.

Missão da posição

Implementar e validar a modernização dos workloads de dados, utilizando práticas sólidas de engenharia e ferramentas assistidas por AI para aumentar a produtividade, reduzir trabalho manual e preservar o comportamento dos processos legados.

Responsabilidades

Análise de workloads legados

• Analisar workloads como packages SSIS, stored procedures, views, functions, SQL Agent Jobs, pipelines PySpark/Sqoop e scripts de integração.
• Identificar tabelas, arquivos, conexões, parâmetros, dependências e efeitos colaterais envolvidos em cada workload.
• Investigar regras de negócio e comportamentos implícitos ou pouco documentados.
• Apoiar a classificação dos workloads nas estratégias de migrar, converter, refatorar, substituir, eliminar ou postergar.
• Registrar riscos, dependências, limitações e dúvidas encontradas durante o assessment.
• Contribuir para o inventário técnico e o mapeamento de dependências do ambiente legado.

Conversão e modernização

• Implementar converções de T‑SQL para Databricks SQL, Spark SQL ou PySpark.
• Converter ou reconstruir fluxos SSIS utilizando notebooks, jobs, pipelines e workflows na plataforma‑alvo.
• Modernizar SQL Agent Jobs e outros mecanismos de execução e agendamento conforme os padrões de orquestração definidos pelo programa.
• Aplicar padrões arquiteturais e de desenvolvimento estabelecidos pelas lideranças técnicas.
• Propor melhorias nos padrões quando identificar casos não contemplados, limitações ou oportunidades de simplificação.
• Tratar diferenças entre as plataformas relacionadas a tipos de dados, `NULL`, precisão decimal, datas, timezone, collation, ordenação, funções específicas e comportamento transacional.
• Preservar as regras de negócio e os resultados esperados, evitando reproduzir desnecessariamente limitações ou complexidades da solução legada.
• Participar de code reviews e apoiar outros integrantes do squad na investigação de problemas técnicos.

Desenvolvimento assistido por AI

• Utilizar coding agents, como Claude Code, Codex ou equivalentes, para análise de código, implementação, refatoração, geração de testes, troubleshooting e documentação.
• Fornecer aos agentes contexto técnico adequado, incluindo requisitos, padrões de conversão, arquitetura, exemplos e critérios de aceite.
• Revisar criticamente o código produzido por AI antes de aceitá-lo ou promovê-lo.
• Identificar problemas de correção, segurança, performance, manutenibilidade e equivalência semântica nos resultados gerados.
• Utilizar ciclos iterativos de geração, execução, coleta de erros, correção e validação.
• Registrar limitações, falhas recorrentes e aprendizados obtidos durante o uso das ferramentas.
• Transformar correções repetitivas em instruções, exemplos, regras, testes ou skills reutilizáveis pelo squad.
• Respeitar as políticas de segurança, privacidade e uso de ferramentas generativas definidas pela CI&T e pelo cliente.

Contribuição para o harness de migração

• Utilizar e contribuir para a estrutura de contexto, instruções, skills e ferramentas disponibilizada nos repositórios do programa.
• Criar ou aprimorar scripts, validadores e automações que apoiem o assessment, a conversão e a validação dos workloads.
• Integrar as atividades assistidas por AI com Git, pull requests, CI/CD e processos de revisão.
• Ajudar a tornar logs, erros, testes, metadados e documentação acessíveis aos agentes de desenvolvimento.
• Contribuir para ciclos automatizados de execução e feedback, permitindo que conversões sejam verificadas de forma repetível.
• Identificar atividades que podem ser automatizadas e situações que ainda exigem análise ou aprovação humana.
• Apoiar a evolução do tooling de migração com base nas dificuldades observadas nos workloads reais.

Qualidade e reconciliação

• Criar testes unitários, de integração e de regressão para pipelines e componentes convertidos.
• Executar validações de paridade entre workloads legados e modernizados.
• Comparar schemas, row counts, checksums, agregações, regras de negócio e resultados detalhados.
• Investigar divergências e identificar se sua origem está no código, nos dados, no ambiente ou na interpretação da regra de negócio.
• Criar dados e cenários de teste que cubram casos comuns e casos de borda.
• Contribuir para golden datasets, golden queries e outros artefatos utilizados na avaliação das conversões.
• Garantir que uma conversão não seja considerada concluída apenas porque o código compila ou executa.
• Produzir e registrar evidências de validação para os workloads migrados.

Tooling e automação

• Utilizar componentes do Lakebridge e outras ferramentas de análise, conversão e reconciliação adotadas pelo programa.
• Executar processos de inventário e análise sobre artefatos SQL, SSIS e demais tecnologias legadas.
• Avaliar os resultados produzidos por transpilers e conversores baseados em LLMs.
• Desenvolver automações e utilitários em Python para reduzir atividades manuais.
• Apoiar a integração entre ferramentas de assessment, metadata, lineage, conversão e validação.
• Contribuir com melhorias que possam ser reutilizadas em diferentes ondas da migração e em futuras iniciativas da CI&T.
• Registrar categorias de falha e apoiar a identificação de oportunidades para aumentar a taxa de automação.

Integrações e complexidade legada

• Investigar workloads com linked servers, integrações Oracle via OLE DB ou `OPENROWSET`, conexões SAP, `SendMailTask`, arquivos em file shares on‑premises e outras dependências externas.
• Implementar as estratégias de migração definidas para cada categoria de integração.
• Trabalhar com os times de arquitetura, infraestrutura e segurança para solucionar dependências de rede, acesso e autenticação.
• Apoiar testes de coexistência, cutover, rollback e desativação dos componentes legados.
• Documentar exceções, restrições e dependências que possam impactar outros workloads.

Segurança e governança

• Seguir os controles definidos para o uso de ferramentas generativas em ambiente enterprise.
• Proteger credenciais, secrets, código proprietário, dados pessoais e informações sensíveis.
• Evitar o envio de dados ou artefatos para ferramentas, modelos ou endpoints não aprovados.
• Utilizar corretamente mecanismos de autenticação, autorização e segregação de ambientes.
• Manter rastreabilidade entre o artefato legado, o código convertido, as alterações realizadas e as evidências de validação.
• Aplicar as políticas de catálogo, acesso, lineage e governança estabelecidas para a plataforma.

Colaboração e documentação

• Trabalhar em parceria com Data Engineers, Tech Leads, arquitetos, especialistas do cliente e Databricks Professional Services.
• Participar de discussões técnicas, refinamentos, code reviews e sessões de troubleshooting.
• Comunicar riscos, bloqueios, dependências e alternativas de forma clara.
• Produzir e manter documentação técnica, incluindo mapeamentos, decisões, runbooks, evidências de teste e orientações operacionais.
• Compartilhar aprendizados e apoiar a evolução técnica dos demais integrantes do squad.
• Contribuir para que o conhecimento produzido durante a migração permaneça versionado, acessível e reutilizável.

Requisitos

• Experiência sólida como Data Engineer ou Data Developer, preferencialmente em posição sênior.
• Experiência prática com desenvolvimento e manutenção de pipelines de dados.
• Conhecimento avançado de SQL e capacidade de compreender consultas e processos complexos.
• Experiência com SQL Server, incluindo T‑SQL, stored procedures, views, functions, SQL Agent Jobs e integrações cross‑database.
• Experiência prática com SSIS, incluindo leitura, desenvolvimento ou troubleshooting de packages `.dtsx`, control flows, data flows, parâmetros e connections.
• Experiência com Databricks ou com plataformas baseadas em Apache Spark.
• Conhecimento de Spark SQL, PySpark, notebooks, Delta Lake e execução de jobs.
• Experiência com Python para desenvolvimento de pipelines, scripts, automações ou testes.
• Familiaridade com Azure e serviços como ADLS Gen2, Azure SQL, Key Vault, identidades e networking.
• Experiência com Git, pull requests, revisão de código e práticas de CI/CD.
• Experiência com testes automatizados e validação de pipelines de dados.
• Experiência em projetos de migração, modernização ou sustentação de ambientes legados.
• Capacidade de investigar sistemas pouco documentados e trabalhar com ambiguidades.
• Experiência prática com coding agents, como Claude Code, Codex ou ferramentas equivalentes, em atividades reais de desenvolvimento.
• Capacidade de revisar e validar código gerado por AI sem depender da ferramenta para tomar a decisão técnica.
• Familiaridade com estratégias de fornecimento de contexto, instruções e feedback executável para agentes.
• Conhecimento de alguma solução de orquestração, como Apache Airflow, Databricks Workflows ou tecnologia equivalente.
• Boa comunicação e capacidade de colaborar com diferentes times técnicos.
• Português fluente e inglês suficiente para documentação e interação técnica.

Diferenciais

• Experiência com ambientes que possuam centenas ou milhares de packages SSIS.
• Conhecimento de SSISDB, `.ispac` e Project Deployment Model.
• Experiência com Lakebridge, incluindo Analyzer, transpilers ou Reconcile.
• Experiência com conversores de SQL, static analysis, parsers ou transformação automatizada de código.
• Criação ou manutenção de instruções, skills, hooks, subagentes, MCP servers ou mecanismos equivalentes para coding agents.
• Experiência com APIs ou SDKs de modelos de linguagem, tool use ou structured outputs.
• Experiência criando evals ou conjuntos de casos de teste para código gerado por AI.
• Experiência com Oracle como source em ambientes SQL Server.
• Conhecimento de OLE DB, linked servers e `OPENROWSET`.
• Experiência com SAP, file shares on‑premises, envio de e-mails ou outras integrações enterprise.
• Background com PySpark, Sqoop, Hadoop, Hive ou EMR.
• Experiência com Apache Airflow ou Databricks Workflows.
• Conhecimento de Unity Catalog, lineage e governança de dados.
• Conhecimento de Terraform, Databricks Asset Bundles ou Infrastructure as Code.
• Familiaridade com metadata management ou Knowledge Graphs.
• Experiência em saúde, serviços financeiros ou outros setores regulados.
• Conhecimento de LGPD e práticas de proteção de dados sensíveis.

O que esperamos dessa pessoa

• Autonomia para conduzir a análise, implementação e validação de workloads de média e alta complexidade.
• Profundidade técnica para identificar riscos e questionar resultados inconsistentes.
• Postura hands‑on e disposição para investigar código, dados, logs e ambientes.
• Uso responsável de AI como ferramenta de engenharia, sem abrir mão do julgamento técnico.
• Capacidade de aprender com falhas e transformar aprendizados em padrões reutilizáveis.
• Organização para documentar decisões, dependências e evidências de validação.
• Colaboração próxima com o squad e abertura para receber e oferecer feedback.
• Pragmatismo para equilibrar qualidade, prazo, risco e complexidade.

Indicadores de sucesso

• Realizar análises confiáveis dos workloads sob sua responsabilidade.
• Entregar conversões aderentes aos padrões técnicos do programa.
• Produzir evidências suficientes de paridade entre os ambientes legado e modernizado.
• Identificar dependências e riscos antes que eles afetem o cutover.
• Reduzir o retrabalho por meio de testes, documentação e automações.
• Utilizar coding agents com produtividade, segurança e senso crítico.
• Transformar correções recorrentes em melhorias no harness e no tooling.
• Aumentar progressivamente a quantidade de workloads convertidos e validados pelo squad.
• Compartilhar conhecimento e contribuir para a evolução das práticas de modernização da CI&T.

Nossos benefícios:

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio-creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T University);
• Clube de descontos;
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• Curso gestante e parentalidade responsável;
• Parceria com plataformas de cursos online;
• Plataforma para aprendizagem de idiomas;
• E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.