GCP Data Engineer — BigQuery & Dataflow Orchestrator

Open; Levallois-Perret; Hybrid; EUR 72,000 - 98,000; Full time

Job summary

Open, unité Open Data & IA, recherche un consultant data expérimenté pour accompagner des Grands Comptes dans une approche hybride et agile. Vous contribuerez à construire une plateforme de données robuste sur Google Cloud Platform et piloterez des pipelines d’ingestion, de transformation et d’orchestration.

Vos missions incluent l’ingestion via Dataflow et Pub/Sub vers BigQuery, l’orchestration avec Airflow et Cloud Workflows, et l’observabilité des flux (Logging/Monitoring).

Qualifications

• Maîtrise avancée de Python et SQL pour transformation et automatisation des flux.
• Expérience avec Google Cloud Platform et BigQuery indispensable.
• Connaissances en Docker/Kubernetes et pipelines CI/CD souhaitables.

Responsibilities

• Conception, optimise et déploie des pipelines d’ingestion et de transformation sur GCP (BigQuery, Dataflow).
• Implémente et gère l’architecture événementielle (Pub/Sub, Eventarc).
• Orchestre les flux data/ML et assure l’exécution jusqu’au déploiement des services.
• Garantit l’observabilité (Logging, Monitoring) et la fiabilité du système.
• Contribue à l’amélioration continue CI/CD et à la sécurité des livrables en prod.

Skills

Python

SQL

Shell scripting

Tools

BigQuery

Dataflow

Dataform

Pub/Sub

Eventarc

Airflow

Cloud Workflows

Docker

Cloud Run

GKE

Job description

Open, unité Open Data & IA, recherche un consultant data expérimenté pour accompagner des Grands Comptes dans une approche hybride et agile. Vous contribuerez à construire une plateforme de données robuste sur Google Cloud Platform et piloterez des pipelines d’ingestion, de transformation et d’orchestration.

Vos missions incluent l’ingestion via Dataflow et Pub/Sub vers BigQuery, l’orchestration avec Airflow et Cloud Workflows, et l’observabilité des flux (Logging/Monitoring).