Data Platform Engineer IA sur GCP

Magellan; Issy-les-Moulineaux; On-site; EUR 70,000 - 95,000; Full time

Job summary

Magellan recherche un Data Engineer pour construire et optimiser des plateformes IA sur GCP, en mettant en place des pipelines batch et streaming et en préparant les données pour des cas d’usage IA. Vous interviendrez dans une pratique Data & IA, avec un accent sur la gouvernance, la sécurité et l’optimisation des coûts.

Vous travaillerez au sein d’équipes pluridisciplinaires sur des projets grands comptes, en environnement cloud, avec Terraform, Airflow et Docker/Kubernetes.

Qualifications

• Maîtrise avancée de Python et SQL.
• Expérience cloud confirmée sur GCP (BigQuery, Dataflow) ou équivalent.
• Traitement de données avec Spark / PySpark.
• Orchestration (Airflow ou Cloud Composer).
• Pratique de Terraform, CI/CD et Docker/Kubernetes.

Responsibilities

• Concevoir et industrialiser des pipelines de données (batch et streaming) sur GCP.
• Préparer les données pour l’IA: ingestion documentaire, découpage, embeddings et bases vectorielles.
• Déployer l’infrastructure as code (Terraform) et orchestrer les traitements (Airflow/Cloud Composer).
• Garantir la gouvernance, la qualité et la sécurité (catalogue, lignage, droits).
• Optimiser les performances et piloter les coûts (FinOps).

Skills

Python

SQL

GCP

Spark

PySpark

Airflow

Cloud Composer

OpenMetadata

CI/CD

Terraform

Tools

Terraform

Docker

Kubernetes

Cloud Composer

Job description

Magellan recherche un Data Engineer pour construire et optimiser des plateformes IA sur GCP, en mettant en place des pipelines batch et streaming et en préparant les données pour des cas d’usage IA. Vous interviendrez dans une pratique Data & IA, avec un accent sur la gouvernance, la sécurité et l’optimisation des coûts.

Vous travaillerez au sein d’équipes pluridisciplinaires sur des projets grands comptes, en environnement cloud, avec Terraform, Airflow et Docker/Kubernetes.