Data Engineer - GCP

4DF Connect; Brasil; On-site; BRL 180,000 - 320,000; Full time

Job summary

A Randstad está recrutando para atuar como Data Engineer - GCP, integrando a equipe AI & Data. O foco é desenvolver pipelines de dados escaláveis na Google Cloud Platform, assegurando qualidade e disponibilidade de dados em todo o ciclo de processamento.

O profissional deverá liderar a arquitetura de dados (Bronze, Silver e Gold) e colaborar com cientistas de dados, analistas e stakeholders de negócio, promovendo boas práticas e inovação tecnológica.

Qualifications

• Python e SQL em engenharia de dados.
• Airflow (Google Composer) para orquestração de pipelines.
• Experiência com BigQuery e GCP.

Responsibilities

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes em GCP.
• Garantir qualidade, integridade e confiabilidade dos dados ao longo de todo o ciclo de processamento.
• Implementar ETL/ELT para movimentação de dados entre sistemas.
• Atuar como referência técnica em Engenharia de Dados (SME).
• Colaborar com equipes multidisciplinares e partilhar conhecimento técnico.
• Liderar iniciativas de monitoramento, desempenho e confiabilidade dos pipelines.
• Documentar processos, padrões e melhores práticas de dados.
• Contribuir para avaliação e adoção de novas tecnologias e ferramentas.

Skills

Python

SQL

Desenvolvimento de pipelines de dados

Medallion architecture

Tools

Apache Airflow (Google Composer)

Google Cloud Platform (GCP)

Google BigQuery

GitLab CI/CD

Job description

Somos a Randstad, líder mundial em soluções de talentos. Estamos com uma oportunidade para atuar como Data Engineer - GCP em um de nossos clientes do setor de Utilities/Energia.

Buscamos um profissional sênior para integrar a equipe de AI & Data, atuando como referência técnica na construção e evolução de pipelines de dados robustos e escaláveis na Google Cloud Platform.

Responsabilidades

• Projetar, desenvolver e manter pipelines de dados escaláveis e eficientes em GCP.
• Garantir a qualidade, integridade e confiabilidade dos dados ao longo de todo o ciclo de processamento.
• Implementar processos de ETL/ELT para movimentação e disponibilização de dados entre diferentes sistemas.
• Atuar como referência técnica (Subject Matter Expert) em Engenharia de Dados.
• Colaborar com equipes multidisciplinares, promovendo alinhamento técnico e compartilhamento de conhecimento.
• Apoiar a tomada de decisões técnicas e contribuir para a resolução de problemas complexos.
• Desenvolver e otimizar arquiteturas de dados escaláveis, incluindo modelos Medallion (Bronze, Silver e Gold).
• Trabalhar em parceria com cientistas de dados, analistas e stakeholders de negócio.
• Liderar iniciativas voltadas ao monitoramento, desempenho e confiabilidade dos pipelines.
• Documentar processos, padrões e boas práticas de engenharia de dados.
• Contribuir na avaliação e adoção de novas tecnologias, ferramentas e frameworks.

Conhecimentos obrigatórios

• Python
• SQL
• Apache Airflow (Google Composer)
• Desenvolvimento de pipelines de dados: Streaming, Batch Processing e CDC
• Google BigQuery
• Google Cloud Platform (GCP)
• Arquitetura Medallion (Bronze, Silver e Gold)

Conhecimentos desejáveis

• GitLab CI/CD
• Experiência em ambientes de dados em nuvem
• Vivência em projetos do setor de Utilities (Energia)

Diferenciais

• Experiência prévia no setor de Energia e Utilities.
• Conhecimento em arquiteturas modernas de dados e plataformas cloud.
• Capacidade de atuar em ambientes colaborativos e multidisciplinares.
• Perfil analítico, proativo e orientado à solução de problemas.