Senior GCP Data Engineer (Hybrid) - BigQuery Pipelines

Shore; Porto; Hybrid; EUR 70,000 - 100,000; Full time

Job summary

Shore procura um Senior GCP Data Engineer para atuar em Porto com modelo híbrido. Será responsável por migrar dados de SQL Server para GCP, criar pipelines ETL/ELT em BigQuery e orquestrar com Cloud Composer. Espera-se domínio avançado de SQL, Python e experiência em ambientes cloud.

O candidato ideal possui pelo menos 6 anos em GCP, inglês B2 e capacidade de trabalhar com equipas técnicas e áreas de negócio, assegurando qualidade, monitorização e melhorias contínuas da plataforma de dados.

Qualifications

• 6+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.

Responsibilities

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, com particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos de qualidade e integridade dos dados.
• Colaborar com equipas técnicas e áreas de negócio durante a migração.
• Participar em revisões de código, testes e boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Skills

SQL

Python

BigQuery

Cloud Composer

Data pipelines

Inglês B2

Tools

Database Migration Service

Dataflow

Cloud Storage

Job description

Shore procura um Senior GCP Data Engineer para atuar em Porto com modelo híbrido. Será responsável por migrar dados de SQL Server para GCP, criar pipelines ETL/ELT em BigQuery e orquestrar com Cloud Composer. Espera-se domínio avançado de SQL, Python e experiência em ambientes cloud.

O candidato ideal possui pelo menos 6 anos em GCP, inglês B2 e capacidade de trabalhar com equipas técnicas e áreas de negócio, assegurando qualidade, monitorização e melhorias contínuas da plataforma de dados.