Data Engineer GCP

Onyx-Conseil; Paris; Sur place; EUR 70 000 - 100 000; Plein temps

Résumé du poste

Onyx-Conseil cherche un ingénieur Data Platform pour concevoir et maintenir des pipelines d’ingestion sur GCP (Python, GCS, BigQuery).

Vous travaillerez sur la transformation via dbt, l’infrastructure avec Terraform et l’interfaçage Flask/DataGalaxy, avec CI/CD et supervision.

Qualifications

• Maîtrise d’ingestion de données cliniques vers GCP avec Python.
• Transformation des données via dbt selon les modèles métiers.
• Gestion de l’infrastructure cloud via Terraform.
• Orchestration via Argo Workflows sur GKE.
• Développement backend Flask et connecteur GCP/DataGalaxy.
• CI/CD avec Git et Gitlab CI/CD et documentation technique.

Responsabilités

• Concevoir et maintenir les pipelines d’ingestion sur GCP.
• Orchestrer les workflows et automatiser les processus de données.
• Participer à la transformation avec dbt et à l’intégration DataGalaxy.
• Gérer l’infrastructure, les accès et le déploiement CI/CD.
• Rédiger la documentation technique et assurer le monitoring des pipelines.

Connaissances

Python

GCP

BigQuery

Argo Workflows

Docker

Kubernetes

Terraform

dbt

Gitlab CI/CD

Flask

SQL

Bash

GKE

Cloud Run

Cloud Functions

Pub/Sub

DataGalaxy

Formation

Baccalauréat app. ou équivalent

Outils

GKE

Git

Kubernetes

Docker

Terraform

Gitlab CI/CD

Flask

dbt

Description du poste

Missions

• Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

• Transformation des données via dbt selon les modèles métiers définis.

• Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.

• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.

• Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).

• Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

• Mise en place de la supervision et du monitoring des pipelines de données.

• Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique

• GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage

• Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash