GCP Data Engineer: BigQuery Pipelines & Orchestration

Open; Levallois-Perret; Hybride; EUR 65 000 - 95 000; Plein temps

Avantages offerts par ce poste

Hybrid work

Résumé du poste

Open, acteur majeur de la transformation digitale, recherche un ingénieur Data/Big Data pour concevoir et exploiter une plateforme de données robuste. Vous interviendrez sur des pipelines d’ingestion vers BigQuery et leur orchestration via des services GCP, dans un cadre hybride et agile.

Le poste nécessite une expertise en Python, SQL et Data Engineering, avec une forte appétence pour l’automatisation, le déploiement et l’observabilité des flux de données.

Qualifications

• Maîtrise du Python et SQL pour l’ingénierie des données.
• Expérience avec les pipelines sur Google Cloud Platform (GCP).
• Connaissance des concepts DevOps et CI/CD.
• Capacité à concevoir des solutions scalables et sûres.

Responsabilités

• Concevoir et déployer des pipelines d’ingestion vers BigQuery.
• Concevoir et implémenter des pipelines de transformation dans BigQuery.
• Automatiser les flux de données avec Pub/Sub, Eventarc et Dataflow.
• Orchestrer les flux de données et lancer les services de calcul et de ML.
• Maintenir la haute disponibilité et la surveillance des flux de données.
• Contribuer à l’amélioration continue de la CI/CD et du déploiement.

Connaissances

Python

SQL

Data engineering

Big Data

Formation

Bachelor en informatique ou data

Outils

Dataflow

Dataform

Pub/Sub

Eventarc

Airflow

Cloud Workflows

Docker

GKE

Description du poste

Open, acteur majeur de la transformation digitale, recherche un ingénieur Data/Big Data pour concevoir et exploiter une plateforme de données robuste. Vous interviendrez sur des pipelines d’ingestion vers BigQuery et leur orchestration via des services GCP, dans un cadre hybride et agile.

Le poste nécessite une expertise en Python, SQL et Data Engineering, avec une forte appétence pour l’automatisation, le déploiement et l’observabilité des flux de données.