GCP Data Engineer — BigQuery ETL & Cloud Composer Expert

Shore; Porto; Presencial; EUR 45 000 - 70 000; Tempo integral

Resumo da oferta

A Shore procura um engenheiro de dados para liderar migrações de dados para Google Cloud Platform, com foco em BigQuery e Cloud Composer. O candidato desenvolverá pipelines ETL/ELT, criará modelos de dados e otimizará consultas SQL complexas, utilizando Python para automatizar migrações e transformações.

É necessário ter experiência em pipelines de dados, migração para ambientes cloud e inglês a partir do nível B2.

Qualificações

• 3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, com criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.

Responsabilidades

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Conhecimentos

SQL

BigQuery

Python

GCP

Cloud Composer

ETL/ELT pipelines

Data modeling

Inglês (B2)

Problemas/Análise

Autonomia

Ferramentas

Cloud Composer

Dataflow

Database Migration Service

Power BI

Descrição da oferta de emprego

A Shore procura um engenheiro de dados para liderar migrações de dados para Google Cloud Platform, com foco em BigQuery e Cloud Composer. O candidato desenvolverá pipelines ETL/ELT, criará modelos de dados e otimizará consultas SQL complexas, utilizando Python para automatizar migrações e transformações.

É necessário ter experiência em pipelines de dados, migração para ambientes cloud e inglês a partir do nível B2.