Data Engineer, GCP & BigQuery Data Pipelines

Open; Levallois-Perret; Hybride; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Open, leader en Data & IA, recherche un consultant Data & GCP pour concevoir et maintenir une plateforme de données robuste. Vous travaillerez sur des pipelines d’ingestion et de transformation vers BigQuery, avec une approche Event-Driven et DevOps.

Vous évoluerez dans un cadre hybride, agile et collaboratif, sur des missions à forte valeur ajoutée pour des clients Grands Comptes, avec un focus sur la fiabilité et la performance des flux de données.

Responsabilités

• Conception, optimisation et déploiement de pipelines d'ingestion de données vers BigQuery.
• Conception et implémentation de pipelines de transformation de données dans BigQuery.
• Automatisation du flux de données via Pub/Sub, Eventarc et Dataflow.
• Orchestration des flux data/ML avec Cloud Workflows et Airflow.
• Maintien de l'observabilité et de la robustesse du système (logging, monitoring).

Connaissances

Python

SQL

Shell scripting

Data engineering

DevOps culture

Outils

BigQuery

Dataflow

Dataform

Pub/Sub

Eventarc

Cloud Workflows

Airflow

Docker

GKE

Description du poste

Open, leader en Data & IA, recherche un consultant Data & GCP pour concevoir et maintenir une plateforme de données robuste. Vous travaillerez sur des pipelines d’ingestion et de transformation vers BigQuery, avec une approche Event-Driven et DevOps.

Vous évoluerez dans un cadre hybride, agile et collaboratif, sur des missions à forte valeur ajoutée pour des clients Grands Comptes, avec un focus sur la fiabilité et la performance des flux de données.