Data Engineer GCP

VISIAN

Paris

On-site

EUR 70,000 - 100,000

Full time

14 days+

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Onyx-Conseil cherche un ingénieur Data Platform pour concevoir et maintenir des pipelines d’ingestion sur GCP (Python, GCS, BigQuery).

Vous travaillerez sur la transformation via dbt, l’infrastructure avec Terraform et l’interfaçage Flask/DataGalaxy, avec CI/CD et supervision.

Qualifications

  • Maîtrise d’ingestion de données cliniques vers GCP avec Python.
  • Transformation des données via dbt selon les modèles métiers.
  • Gestion de l’infrastructure cloud via Terraform.
  • Orchestration via Argo Workflows sur GKE.
  • Développement backend Flask et connecteur GCP/DataGalaxy.
  • CI/CD avec Git et Gitlab CI/CD et documentation technique.

Responsibilities

  • Concevoir et maintenir les pipelines d’ingestion sur GCP.
  • Orchestrer les workflows et automatiser les processus de données.
  • Participer à la transformation avec dbt et à l’intégration DataGalaxy.
  • Gérer l’infrastructure, les accès et le déploiement CI/CD.
  • Rédiger la documentation technique et assurer le monitoring des pipelines.

Skills

Python
GCP
BigQuery
Argo Workflows
Docker
Kubernetes
Terraform
dbt
Gitlab CI/CD
Flask
SQL
Bash
GKE
Cloud Run
Cloud Functions
Pub/Sub
DataGalaxy

Education

Baccalauréat app. ou équivalent

Tools

GKE
Git
Kubernetes
Docker
Terraform
Gitlab CI/CD
Flask
dbt

Job description

Missions
  • Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

  • Transformation des données via dbt selon les modèles métiers définis.

  • Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform.

  • Orchestration et automatisation des workflows de données sur GKE via Argo Workflows.

  • Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).

  • Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

  • Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

  • Mise en place de la supervision et du monitoring des pipelines de données.

  • Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique
  • GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage

  • Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Engineer GCP
Data Engineer GCP

VISIAN • Paris

On-site
EUR 55,000 - 90,000
GCP Data Platform Engineer: Pipelines & Analytics
GCP Data Platform Engineer: Pipelines & Analytics

VISIAN • Paris

On-site
EUR 55,000 - 90,000
Data Engineer GCP / DBT
Data Engineer GCP / DBT

DATAMED RESEARCH • Paris

On-site
EUR 60,000 - 90,000
GCP Data Engineer: Data Pipelines & Datalake
GCP Data Engineer: Data Pipelines & Datalake

VISIAN • Paris

On-site
EUR 55,000 - 75,000
Data Engineer GCP (IT) / Freelance
Data Engineer GCP (IT) / Freelance

VISIAN • Paris

On-site
EUR 55,000 - 75,000
Data Engineer GCP
Data Engineer GCP

Capgemini • Lyon

On-site
EUR 70,000 - 110,000
GenAI Campus
Certifications techniques
Événements et partenariats (AWS, Snowfl
+1
Data Engineer GCP
Data Engineer GCP

Gec Groupe • France

Remote
EUR 55,000 - 75,000
Data Engineer GCP
Data Engineer GCP

Groupe LR Technologies • Lille

On-site
EUR 55,000 - 75,000
Data engineer GCP (H/F) – CDI
Data engineer GCP (H/F) – CDI

ALTEN Group • Paris

Hybrid
EUR 60,000 - 90,000
Data Engineer GCP / BigQuery / Java - Senior
Data Engineer GCP / BigQuery / Java - Senior

Craftman data • Toulouse

On-site
EUR 55,000 - 90,000