GCP Data Engineer

Shore; Porto; Hybrid; EUR 42,000 - 64,000; Full time

Job summary

Shore procura um Engenheiro de Dados para liderar migrações e otimização de pipelines em GCP. O candidato ideal deve ter forte experiência em BigQuery, SQL avançado e automação com Python, trabalhando em estreita colaboração com equipas técnicas e de negócio em projetos de migração de dados.

O papel envolve desenvolvimento de pipelines ETL/ELT, orquestração com Cloud Composer e garantia de qualidade dos dados, com foco em desempenho e escalabilidade.

Qualifications

• Mínimo 3+ anos de experiência no Google Cloud Platform, especialmente BigQuery e Cloud Composer.
• Domínio de SQL, com queries complexas em BigQuery.
• Conhecimentos avançados de Python para migrações e automação.
• Bons conhecimentos de inglês (nível B2).

Responsibilities

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT em BigQuery.
• Orquestrar pipelines com o Google Cloud Composer.
• Escrever queries SQL complexas em BigQuery.
• Automatizar migrações e transformações com Python.
• Assegurar a qualidade e integridade dos dados.
• Participar em reviews de código e boas práticas.
• Monitorizar pipelines e resolver incidentes.

Skills

ETL pipelines

BigQuery

SQL

Python

GCP

Data migration

Data quality

Problem solving

Teamwork

English B2

Tools

Cloud Composer

Database Migration Service

Dataflow

Cloud Storage

Power BI

Job description

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.
• 3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.
• Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação.

Competências valorizadas:

• Experiência com SQL Server, T-SQL e administração de bases de dados.
• Conhecimentos de outros serviços GCP, como Cloud Storage e Dataflow.
• Experiência com ferramentas de migração da GCP, como Database Migration Service.
• Conhecimentos de Power BI, Data Warehousing e Data Vault.
• Experiência com ferramentas de controlo de versões.