Data Engineer Python / GCP

Onyx-Conseil; Paris; Sur place; EUR 60 000 - 85 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un profil Data Engineer pour un projet Build + Run sur une plateforme data déployée sur Google Cloud Platform (GCP). Vous contribuerez à l’ingestion, la transformation et l’orchestration des pipelines, et au développement d’un portail utilisateur.

Vous interviendrez sur les pipelines Python, GCS, BigQuery, Argo Workflows et GKE, l’infrastructure Terraform, et les aspects CI/CD. Une première expérience solide en data engineering est demandée.

Qualifications

• Expérience en ingénierie des données sur GCP et pipelines d’ingestion.
• Maîtrise de Terraform et CI/CD.
• Capacité à documenter et à collaborer avec une équipe transverse.

Responsabilités

• Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).
• Transformation des données via dbt selon les modèles métiers définis.
• Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.
• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.
• Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask).
• Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).
• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).
• Mise en place de la supervision et du monitoring des pipelines de données.
• Rédaction de la documentation technique liée aux développements réalisés.

Connaissances

Python

GCP

BigQuery

ETL

Flask

Outils

Argo Workflows

Docker

GKE

Git

GitLab CI/CD

Terraform

dbt

DataGalaxy

Description du poste

Contexte
La mission vient dans le contexte d'un projet de gestion (Build + Run) d'une plateforme data sur GCP pour les données de l'entreprise.

Interlocuteurs : Directeur Data, Data Analysts, Data Engineers, Data Scientists, Product Owners, Équipe Métier.

Missions
Mise en place de pipelines d'ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

Transformation des données via dbt selon les modèles métiers définis.

Gestion de l'infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.

Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.

Développement du backend d'un portail utilisateur pour l'accès aux services de la plateforme (Flask).

Création d'un connecteur entre GCP et l'outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

Mise en place de la supervision et du monitoring des pipelines de données.

Rédaction de la documentation technique liée aux développements réalisés.