Data Engineer Pleno

CI&T; Brasil; Híbrido; BRL 133 920 - 167 400; Tempo integral

Vantagens oferecidas por esta oferta de emprego

Plano de saúde e odontológico

Vale alimentação e refeição

Licença parental estendida

Parceria com academias

Participação nos Lucros e Resultados (PLR)

Resumo da oferta

Uma empresa de tecnologia no Brasil está buscando um profissional para executar a migração e modernização de dados no Google Cloud Platform. Você será responsável por construir uma fundação de dados moderna, implementar pipelines ELT/ETL e garantir a qualidade e governança dos dados. É essencial ter experiência sólida em SQL e conhecimento em GCP. A posição oferece diversos benefícios, incluindo plano de saúde e plataforma de aprendizagem contínua.

Qualificações

• Capacidade de escrever consultas SQL complexas e performáticas.
• Vivência com serviços do Google Cloud, como BigQuery e Dataflow.
• Experiência com Python e Apache Spark.

Responsabilidades

• Atuar na análise e migração de notebooks e pipelines legados.
• Desenvolver e manter transformações de dados utilizando BigQuery.
• Implementar padrões de ingestão de dados utilizando Dataflow.

Conhecimentos

Experiência sólida em SQL

Conhecimento em Google Cloud Platform (GCP)

Engenharia de Dados (Python/Spark)

Conceitos de Arquitetura de Dados

Versionamento e CI/CD

Ferramentas

Dataform

Terraform

BigQuery

Descrição da oferta de emprego

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.

Sobre o Desafio: Estamos em um momento crucial de evolução da nossa plataforma de dados. O projeto consiste na migração e modernização de um legado massivo (baseado em Azure/Databricks) para uma nova arquitetura no Google Cloud Platform (GCP).

Você atuará na construção de uma fundação de dados moderna, seguindo princípios de Data Mesh, arquitetura medalhão (Raw/Silver/Gold) e forte governança, garantindo a desativação do legado e a habilitação de novas capacidades de IA e Analytics.

Principais Responsabilidades

• Execução da Migração (Refactory & Modernization): Atuar na análise e migração de notebooks e pipelines legados (Spark/Databricks). Isso envolve tanto o reapontamento (refactory) de lógicas para a nova arquitetura quanto a reescrita completa (modernization) de processos para SQL/Dataform ou Dataflow.
• Construção de Pipelines ELT/ETL: Desenvolver e manter transformações de dados utilizando BigQuery e Dataform (SQL) para criar as camadas Trusted/Silver e Gold, garantindo qualidade, deduplicação e padronização.
• Ingestão de Dados (Batch & Streaming): Implementar padrões de ingestão utilizando Dataflow (Apache Beam) para consumo de eventos (Kafka/Event Hubs) e Datastream para CDC de bancos transacionais. Trabalhar com a persistência de dados na camada Raw utilizando tabelas Iceberg gerenciadas pelo BigLake.
• Automação e IaC: Utilizar Terraform para provisionamento de recursos de dados (datasets, tabelas, views) e gerenciar pipelines via CI/CD (GitHub Actions), seguindo o modelo de Ingestion Factory e repositórios segregados por domínio.
• Qualidade e Governança: Implementar testes de qualidade de dados (assertions no Dataform) e garantir a catalogação e linhagem dos dados via Dataplex e Analytics Hub para compartilhamento seguro entre domínios.

Requisitos Obrigatórios

• Experiência sólida em SQL: Capacidade de escrever consultas complexas e performáticas, preferencialmente no dialecto do Google BigQuery.
• Conhecimento em Google Cloud Platform (GCP): Vivência com serviços como BigQuery, Cloud Storage (GCS), Dataflow e Cloud Composer (Airflow).
• Engenharia de Dados (Python/Spark): Experiência com processamento de dados usando Python e Apache Spark (para entender o legado em Databricks e atuar no Dataproc quando necessário).
• Conceitos de Arquitetura de Dados: Entendimento de Data Lakehouse, modelagem de dados, particionamento e formatos de arquivo (Parquet, Avro, Iceberg).
• Versionamento e CI/CD: Experiência com Git e esteiras de deploy automatizado.

Diferenciais (Nice to have)

• Experiência prévia com Dataform ou DBT para orquestração de transformações SQL.
• Conhecimento em Terraform para Infraestrutura como Código (IaC).
• Familiaridade com arquitetura de eventos (Kafka ou Event Hubs) e processamento streaming.
• Entendimento de Databricks (para facilitar a leitura e migração do código legado).
• Conhecimento em governança de dados (Dataplex, IAM) e segurança (VPC Service Controls).
• Um ambiente técnico desafiador com alto volume de dados (Petabytes) e migração de milhares de objetos.
• Oportunidade de trabalhar com tecnologias de ponta em GCP (BigLake, Analytics Hub, Gemini para enriquecimento de dados).
• Atuação em um modelo de Data Mesh, com domínios de ingestão e processamento bem definidos.

Benefícios

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass) TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Plataforma de aprendizagem contínua (CI&T University);
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar;
• Curso gestante e parentalidade responsável;
• E muitos outros

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consul te quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.