GCP & Python Data Engineer (Hibrido, Porto)

Shore; Porto; Presencial; EUR 48 000 - 72 000; Tempo integral

Resumo da oferta

A Shore procura um engenheiro de dados para desenhar e manter pipelines ELT/ETL de alto volume, com várias fontes, em GCP usando BigQuery, Cloud Storage, Dataflow, Dataproc e Pub/Sub. Vai também desenvolver transformações em Python, automação e checagens de qualidade de dados.

Será responsável por integrar modelos de previsão de IA em pipelines de dados, realizar UAT/QA, validação de dados e controles de release-readiness, e manter documentação técnica, dicionários de dados e runbooks.

Qualificações

• Strong Python development with testing and packaging.
• Hands-on GCP experience with BigQuery, Cloud Storage, Dataflow, Dataproc, Pub/Sub and Airflow.
• SQL proficiency and production data-pipeline design.
• Understanding of AI prediction models, data preparation, feature stores and MLOps concepts.
• Git, orchestration and CI/CD for data pipelines.
• French at C1 minimum (written and spoken) for stakeholder engagement.
• Professional English and strong communication and autonomous delivery skills.

Responsabilidades

• Design and maintain end-to-end ELT/ETL pipelines for high-volume, multi-source data.
• Build data models, warehouses and lakes on GCP using BigQuery, Cloud Storage, Dataflow, Dataproc and Pub/Sub.
• Develop Python transformations, orchestration, automation and data-quality checks.
• Integrate and operationalise AI prediction models within cloud data pipelines.
• Plan and execute UAT and QA activities, data validation and release-readiness controls.
• Implement monitoring, logging, governance, security, privacy and compliance controls.
• Maintain technical documentation, data dictionaries, runbooks and test plans.

Conhecimentos

Python development

GCP

SQL e data modelling

MLOps concepts

CI/CD for data pipelines

English

French (C1)

Ferramentas

BigQuery

Cloud Storage

Dataflow

Dataproc

Pub/Sub

Cloud Composer / Airflow

Git

Descrição da oferta de emprego

Descrição da Empresa

A Shore é uma empresa portuguesa de tecnologia que liga talento a inovação desde 2007. Especializada na gestão de talento tecnológico, deu em 2026 um novo salto, expandindo a sua oferta para áreas de Software Engineering, Data & AI e IT Core Services, posicionando-se como um parceiro end-to-end na transformação digital. Trabalhamos com alguns dos principais players de setores como banca, telecomunicações, saúde e setor público, desenvolvendo soluções escaláveis, orientadas a dados e com impacto real no negócio. Na Shore, combinamos know-how técnico, cultura de proximidade e foco nas pessoas para construir tecnologia com propósito e equipas preparadas para o futuro.

Descrição da Função

Principais Responsabilidades: Design and maintain end-to-end ELT/ETL pipelines for high-volume, multi-source data. Build data models, warehouses and lakes on GCP using BigQuery, Cloud Storage, Dataflow, Dataproc and Pub/Sub. Develop Python transformations, orchestration, automation and data-quality checks. Integrate and operationalise AI prediction models within cloud data pipelines. Plan and execute UAT and QA activities, data validation and release-readiness controls. Implement monitoring, logging, alerting, governance, security, privacy and compliance controls. Maintain technical documentation, data dictionaries, runbooks and test plans. Requisitos Mínimos: Strong Python development, including design patterns, testing, packaging and performance considerations. Hands‑on GCP experience with BigQuery, Cloud Storage, Dataflow / Beam, Dataproc, Pub/Sub and Cloud Composer / Airflow. SQL, data modelling, schema design and production data-pipeline experience. Understanding of AI prediction models, data preparation, feature stores and MLOps principles. Git, orchestration and CI/CD for data pipelines. French at C1 minimum, written and spoken, for active stakeholder engagement. Professional English and strong communication, documentation and autonomous delivery skills.

Localização

• Porto, Portugal