Gcp Data Engineer (Porto,Hibrido)

Shore; Porto; Híbrido; EUR 42 000 - 64 000; Tempo integral

Resumo da oferta

A Shore procura um engenheiro de dados em Porto para migrar dados de SQL Server para Google Cloud e otimizar pipelines em BigQuery. O papel envolve automação com Python, orquestração com Composer e colaboração com equipas técnicas e de negócio.

Requisitos incluem 3+ anos em GCP (BigQuery/Composer), SQL avançado e inglês B2. Regime híbrido e oportunidade de trabalhar com soluções avançadas de dados.

Qualificações

• 3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.
• Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação.
• Inglês B2

Responsabilidades

• Participar na migração de dados e ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizacoes para a plataforma de dados em GCP.

Conhecimentos

BigQuery

Cloud Composer

SQL

Python

ETL pipelines

Data migration

English B2

Teamwork

Descrição da oferta de emprego

Principais Responsabilidades:

• Participar na migração de dados e processos ETL de SQL Server para GCP.
• Desenvolver e otimizar pipelines ETL/ELT para transferência e transformação de dados em BigQuery.
• Orquestrar e agendar pipelines através do Google Cloud Composer.
• Desenvolver e otimizar queries SQL complexas em BigQuery.
• Criar modelos de dados otimizados, recorrendo a técnicas de particionamento e clustering.
• Desenvolver scripts em Python para automatização de migrações, transformações e integrações.
• Implementar mecanismos que garantam a qualidade e integridade dos dados.
• Trabalhar em articulação com equipas técnicas e áreas de negócio durante o processo de migração.
• Participar em revisões de código, testes e definição de boas práticas de desenvolvimento.
• Assegurar a monitorização e resolução de incidentes relacionados com os pipelines de dados.
• Propor melhorias e otimizações para a plataforma de dados em GCP.

Requisitos Mínimos:

• 3+ anos de experiência com Google Cloud Platform, nomeadamente BigQuery e Cloud Composer.
• Domínio de SQL, incluindo criação de queries complexas e otimização em BigQuery.
• Conhecimentos avançados de Python para automatização, transformação e migração de dados.
• Experiência em pipelines de dados e processos de migração para ambientes cloud.
• Capacidade de análise e resolução de problemas complexos.
• Bons conhecimentos de inglês, com nível mínimo B2.
• Autonomia, rigor, organização, espírito de equipa e capacidade de adaptação.
• Inglês B2

Competências Valorizadas:

• Experiência com SQL Server, T-SQL e administração de bases de dados.
• Conhecimentos de outros serviços GCP, como Cloud Storage e Dataflow.
• Experiência com ferramentas de migração da GCP, como Database Migration Service.
• Conhecimentos de Power BI, Data Warehousing e Data Vault.
• Experiência com ferramentas de controlo de versões.

Regime de trabalho híbrido.