Senior GCP Data Engineer

Shore; Porto; Hybrid; EUR 70,000 - 100,000; Full time

Job summary

Shore procura um Senior GCP Data Engineer para atuar em Porto com modelo híbrido. Será responsável por migrar dados de SQL Server para GCP, criar pipelines ETL/ELT em BigQuery e orquestrar com Cloud Composer. Espera-se domínio avançado de SQL, Python e experiência em ambientes cloud.

O candidato ideal possui pelo menos 6 anos em GCP, inglês B2 e capacidade de trabalhar com equipas técnicas e áreas de negócio, assegurando qualidade, monitorização e melhorias contínuas da plataforma de dados.

Qualifications

• 6+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.

Responsibilities

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, com particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos de qualidade e integridade dos dados.
• Colaborar com equipas técnicas e áreas de negócio durante a migração.
• Participar em revisões de código, testes e boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Skills

SQL

Python

BigQuery

Cloud Composer

Data pipelines

Inglês B2

Tools

Database Migration Service

Dataflow

Cloud Storage

Job description

Senior GCP Data Engineer (Porto,Hibrido)

Publicada17 de Setembro

Principais Responsabilidades:

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Requisitos mínimos

• 6+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.
• Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação.
• Inglês B2

Competências valorizadas:

• Experiência com SQL Server, T-SQL e administração de bases de dados.
• Conhecimentos de outros serviços GCP, como Cloud Storage e Dataflow.
• Experiência com ferramentas de migração da GCP, como Database Migration Service.
• Conhecimentos de Power BI, Data Warehousing e Data Vault.
• Experiência com ferramentas de controlo de versões.