[Job 26059] Senior Data Engineer

CI&T; Brasil; Presencial; BRL 80.000 - 120.000; Tempo integral

Resumo da oferta

Uma empresa de tecnologia está buscando um profissional para atuar como engenheiro de dados. O candidato ideal terá experiência de mais de 5 anos em Python e SQL, com forte atuação em GCP e conhecimento em Data Governance. O trabalho envolve a construção e implementação de pipelines, frameworks de qualidade de dados e muita colaboração com equipes de produto. Benefícios incluem plano de saúde, vale alimentação e oportunidades de aprendizagem.

Serviços

Plano de saúde

Vale alimentação

Auxílio-creche

Licença parental estendida

Participação nos Lucros e Resultados

Qualificações

• 5+ anos em engenharia de dados com experiência em Python, SQL e PySpark.
• Experiência em ETL/ELT na GCP e orquestração com Composer.
• Conhecimento em Data Quality e metadata/lineage.

Responsabilidades

• Construir pipelines de metadata/lineage com versioning.
• Implementar Data Quality as Code com testes e alertas.
• Modelar e publicar Semantic Layer em Looker.

Conhecimentos

Python

SQL

PySpark

Data Quality

Observability

Git

Comunicação

Ferramentas

BigQuery

Dataflow

Airflow

Terraform

Cloud DLP

Descrição da oferta de emprego

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 7 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.

Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequência vigente.

Sua missão será ser o pilar hands‑on do core de Data Governance, materializando o blueprint em componentes reutilizáveis. Implementar pipelines, serviços e automações para metadata/lineage, Data Quality as Code, Policy-as-Code e Semantic Layer com observabilidade e performance em GCP.

Responsabilidades

• Construir pipelines e conectores de metadata/lineage (batch/streaming) com versioning e end‑to‑end traceability.
• Implementar frameworks de Data Quality as Code: testes, monitors, SLO/SLIs de datasets, alerting e auto‑remediation.
• Implementar Policy-as-Code e controles em GCP: classificação (Cloud DLP), masking/tokenization, enforcement (policy tags, IAM Conditions, row/column‑level security).
• Modelar e publicar Semantic Layer (Looker semantic model), criar data contracts e validators em CI/CD.
• Desenvolver packages/templates reutilizáveis, documentação técnica e runbooks.
• Integrar com plataformas e APIs corporativas, garantindo performance, reliability e cost‑efficiency.
• Instrumentar observability (logs, metrics, tracing) e atuar em incident response, fomentando continuous improvement.

Stack (Google‑first)

• BigQuery, BigLake, Dataplex, Data Catalog.
• Dataflow (Beam), Dataproc (Spark), Pub/Sub, Datastream; Composer (Airflow) para orchestration.
• Python, PySpark, SQL; tests com PyTest/Great Expectations.
• CI/CD com Cloud Build/Cloud Deploy, Git; IaC com Terraform.
• Segurança: IAM/IAM Conditions, VPC‑SC, KMS/CMEK, Secret Manager, Cloud DLP.
• Observability: Cloud Logging, Cloud Monitoring, Error Reporting, Cloud Trace.
• Optional: OpenLineage, DataHub/OpenMetadata; Kafka quando necessário.

Requisitos

• 5+ anos em engenharia de dados com forte atuação em Python, SQL e PySpark.
• Experiência prática em ETL/ELT batch e streaming na GCP (Dataflow/Beam, Pub/Sub, Dataproc/Spark, Datastream) e orchestration com Composer (Airflow).
• Data Quality/Observability (Great Expectations, Soda, Monte Carlo) e metadata/lineage (Data Catalog, DataHub/OpenMetadata, OpenLineage).
• Policy‑as‑Code em GCP: Cloud DLP, policy tags, IAM/IAM Conditions; segurança e privacidade (LGPD).
• Git, CI/CD (Cloud Build), IaC (Terraform); performance tuning e troubleshooting em BigQuery/Spark.
• Boa comunicação e colaboração com times de produto, segurança e compliance.

Diferenciais

• Looker semantic model, dbt metrics; Kafka; CDC com Datastream.
• GenAI para documentação/discovery/quality (Vertex AI).
• Otimização de custo (slot management, storage lifecycle, partitioning/clustering) e performance tuning.

Nossos benefícios:

• Plano de saúde e odontológico;
• Vale alimentação e refeição;
• Auxílio‑creche;
• Licença parental estendida;
• Parceria com academias e profissionais de saúde e bem‑estar via Wellhub (Gympass) TotalPass;
• Participação nos Lucros e Resultados (PLR);
• Seguro de Vida;
• Plataforma de aprendizagem contínua (CI&T University);
• Clube de descontos;
• Plataforma online gratuita dedicada à promoção da saúde física, mental e bem‑estar;
• Curso gestante e parentalidade responsável;
• Parceria com plataformas de cursos online;
• Plataforma para aprendizagem de idiomas;
• E muitos outros.

Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras

Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo.

Temos um time dedicado de Saúde e Bem‑estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.