Senior GCP Data Engineer - BigQuery & ETL (Porto)

Shore; Porto; Presencial; EUR 45 000 - 70 000; Tempo integral

Resumo da oferta

A Shore procura um Engenheiro de Dados para migrar dados de SQL Server para a Google Cloud Platform (GCP) e para desenvolver pipelines ETL/ELT em BigQuery. O profissional irá orquestrar pipelines com o Cloud Composer e otimizar queries SQL complexas.

Serão utilizadas técnicas de particionamento e clustering, além de scripts em Python para automatizar migrações e transformações. Colaboração com equipas técnicas e áreas de negócio é essencial para garantir qualidade e evolução da plataforma.

Qualificações

• 6+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.

Responsabilidades

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Conhecimentos

GCP knowledge

Data pipelines

Analytical thinking

Team collaboration

Ferramentas

BigQuery

Cloud Composer

Python

SQL

Descrição da oferta de emprego

A Shore procura um Engenheiro de Dados para migrar dados de SQL Server para a Google Cloud Platform (GCP) e para desenvolver pipelines ETL/ELT em BigQuery. O profissional irá orquestrar pipelines com o Cloud Composer e otimizar queries SQL complexas.

Serão utilizadas técnicas de particionamento e clustering, além de scripts em Python para automatizar migrações e transformações. Colaboração com equipas técnicas e áreas de negócio é essencial para garantir qualidade e evolução da plataforma.