Data Engineer - GCP - Sênior

4DF Connect; Brasil; On-site; BRL 279,000 - 424,000; Full time

Job summary

A Randstad está buscando um(a) Data Engineer Sênior com foco em GCP para atuar na equipe de AI & Data. O profissional irá projetar, desenvolver e manter pipelines de dados escaláveis, garantindo qualidade e confiabilidade de dados em todo o ciclo de processamento.

Perfil desejado inclui experiência com Airflow (Google Composer), BigQuery e arquitetura Medallion, com atuação colaborativa entre dados, ciência e áreas afins para entrega de soluções robustas.

Qualifications

• Conhecimentos sólidos em Python, SQL e Airflow para orquestração de pipelines.
• Experiência com pipelines de dados (Streaming, Batch Processing, CDC).
• Conhecimento de BigQuery e of Google Cloud Platform (GCP).

Responsibilities

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
• Garantir qualidade, integridade e confiabilidade dos dados ao longo do processamento.
• Atuar como referência técnica em Engenharia de Dados e liderar práticas de monitoramento de pipelines.
• Colaborar com equipes multidisciplinares e compartilhar conhecimentos técnicos.
• Contribuir para tomada de decisões técnicas e adoção de novas tecnologias.

Skills

Python

SQL

Apache Airflow

Data pipelines

Google BigQuery

Google Cloud Platform

Medallion Architecture

Tools

GitLab CI/CD

Job description

Somos a Randstad, líder mundial em soluções de talentos. Estamos em busca de um(a) Data Engineer - GCP - Sênior para atuar em um de nossos clientes, na equipe de AI & Data.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes.
• Garantir a qualidade, integridade e confiabilidade dos dados ao longo de todo o ciclo de processamento.
• Implementar processos de ETL/ELT para movimentação e disponibilização de dados entre diferentes sistemas.
• Atuar como referência técnica (Subject Matter Expert) em Engenharia de Dados.
• Colaborar com equipes multidisciplinares, promovendo alinhamento técnico e compartilhamento de conhecimento.
• Apoiar a tomada de decisões técnicas e contribuir para a resolução de problemas complexos.
• Desenvolver e otimizar arquiteturas de dados escaláveis.
• Trabalhar em parceria com cientistas de dados, analistas e demais stakeholders.
• Liderar iniciativas voltadas ao monitoramento, desempenho e confiabilidade dos pipelines.
• Documentar processos, padrões e boas práticas.
• Contribuir na avaliação e adoção de novas tecnologias, ferramentas e frameworks.

Perfil Técnico Desejado

Conhecimentos obrigatórios:

Python, SQL, Apache Airflow (Google Composer), desenvolvimento de pipelines de dados (Streaming, Batch Processing, CDC), Google BigQuery, Google Cloud Platform (GCP), Arquitetura Medallion (Bronze, Silver e Gold).

Conhecimentos desejáveis:

GitLab CI/CD, experiência em ambientes de dados em nuvem, vivência em projetos do setor de Utilities (Energia).

Diferenciais:

Experiência prévia no setor de Energia e Utilities, conhecimento em arquiteturas modernas de dados e plataformas cloud, perfil analítico, proativo e orientado à solução de problemas.