Ingénieur Data Python sur GCP — Pipelines & DBT

Onyx-Conseil; Paris; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un profil Data Engineer pour un projet Build + Run sur une plateforme data déployée sur Google Cloud Platform (GCP). Vous contribuerez à l’ingestion, la transformation et l’orchestration des pipelines, et au développement d’un portail utilisateur.

Vous interviendrez sur les pipelines Python, GCS, BigQuery, Argo Workflows et GKE, l’infrastructure Terraform, et les aspects CI/CD. Une première expérience solide en data engineering est demandée.

Qualifications

• Expérience en ingénierie des données sur GCP et pipelines d’ingestion.
• Maîtrise de Terraform et CI/CD.
• Capacité à documenter et à collaborer avec une équipe transverse.

Responsabilités

• Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).
• Transformation des données via dbt selon les modèles métiers définis.
• Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
• Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask).
• Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
• Mise en place de la supervision et du monitoring des pipelines de données.
• Rédaction de la documentation technique liée aux développements réalisés.

Connaissances

Python

GCP

BigQuery

ETL

Flask

Outils

Argo Workflows

Docker

GKE

Git

GitLab CI/CD

Terraform

dbt

DataGalaxy

Description du poste

Onyx-Conseil recherche un profil Data Engineer pour un projet Build + Run sur une plateforme data déployée sur Google Cloud Platform (GCP). Vous contribuerez à l’ingestion, la transformation et l’orchestration des pipelines, et au développement d’un portail utilisateur.

Vous interviendrez sur les pipelines Python, GCS, BigQuery, Argo Workflows et GKE, l’infrastructure Terraform, et les aspects CI/CD. Une première expérience solide en data engineering est demandée.