GCP & Python Data Engineer — ELT/ETL & AI Pipelines

Shore

Porto

Presencial

EUR 48 000 - 72 000

Tempo integral

14 dias+

Recebe mais respostas dos empregadores

Envia um currículo específico para a oferta em poucos minutos.

Resumo da oferta

A Shore procura um engenheiro de dados para desenhar e manter pipelines ELT/ETL de alto volume, com várias fontes, em GCP usando BigQuery, Cloud Storage, Dataflow, Dataproc e Pub/Sub. Vai também desenvolver transformações em Python, automação e checagens de qualidade de dados.

Será responsável por integrar modelos de previsão de IA em pipelines de dados, realizar UAT/QA, validação de dados e controles de release-readiness, e manter documentação técnica, dicionários de dados e runbooks.

Qualificações

Strong Python development with testing and packaging.
Hands-on GCP experience with BigQuery, Cloud Storage, Dataflow, Dataproc, Pub/Sub and Airflow.
SQL proficiency and production data-pipeline design.
Understanding of AI prediction models, data preparation, feature stores and MLOps concepts.
Git, orchestration and CI/CD for data pipelines.
French at C1 minimum (written and spoken) for stakeholder engagement.
Professional English and strong communication and autonomous delivery skills.

Responsabilidades

Design and maintain end-to-end ELT/ETL pipelines for high-volume, multi-source data.
Build data models, warehouses and lakes on GCP using BigQuery, Cloud Storage, Dataflow, Dataproc and Pub/Sub.
Develop Python transformations, orchestration, automation and data-quality checks.
Integrate and operationalise AI prediction models within cloud data pipelines.
Plan and execute UAT and QA activities, data validation and release-readiness controls.
Implement monitoring, logging, governance, security, privacy and compliance controls.
Maintain technical documentation, data dictionaries, runbooks and test plans.