Ingénieur Data Senior — Plateforme Data On-Premise Open Source (IT) / Freelance

Onyx-Conseil; Paris; Sur place; EUR 75 000 - 110 000; Plein temps

Résumé du poste

Onyx-Conseil recherche un Ingénieur Data expérimenté pour construire un MVP de plateforme Data On-Premise intégrant Kafka, NiFi, Spark, Iceberg et Trino.

Vous travaillerez au sein de la Direction IT Transverse du client et assurerez l’intégration au socle Kubernetes, GitLab CI et Prometheus/OpenTelemetry.

Le poste exige 5 ans d’expérience, un esprit d’architecture scalable et le sens de la collaboration avec les équipes DevOps et Data & IA.

Qualifications

• Expérience confirmée de 5 ans minimum en Data Engineering.
• Maîtrise des briques Open Source: Kafka, NiFi, Spark, Iceberg, Trino.
• Connaissance de Kubernetes, GitLab CI et Prometheus/OpenTelemetry.

Responsabilités

• Concevoir et développer le MVP On-Premise.
• Valider les flux ETL et mettre en place des pipelines streaming.
• Tracer, documenter et former les équipes sur les nouvelles briques.

Connaissances

Data engineering

Streaming

Open Source

Kubernetes

Outils

Kafka

NiFi

Spark

Iceberg

Trino

Kubernetes

Description du poste

CONTEXTE

Client final : grand groupe média & audiovisuel français. Au sein de la Direction IT Transverse, l'équipe Services & Automatisation met en place les plateformes de services du groupe. Nous recherchons un Ingénieur Data expérimenté (5 ans et plus) pour construire un MVP de plateforme Data On-Premise reposant sur des briques Open Source : Kafka, NiFi, Spark, Iceberg, Trino. Le MVP s'intègre au socle existant (Kubernetes, GitLab CI, Prometheus/OpenTelemetry) ; projet mené avec l'équipe Data & IA.

OBJECTIFS DE LA PLATEFORME

• Gérer la transformation de données On-Premise et alimenter un datalake On-Premise
• Servir de plateforme d'ingestion pour la plateforme Big Data hébergée sur GCP
• Passer les traitements du mode batch au temps réel (streaming)
• Démontrer la faisabilité de la migration des flux ETL portés par un outil propriétaire (type OpenText/Genio) : quelques flux dans le MVP, migration complète hors scope

Missions

1. 1. Conception et développement du MVP

   • Architecturer une plateforme On-Premise scalable et robuste, intégrée au socle existant
   • Choisir, configurer et déployer les briques Open Source : Kafka (streaming), NiFi (ingestion et orchestration de flux), Spark (traitement distribué), Iceberg (tables analytiques), Trino (requêtage SQL distribué)
   • Intégrer la plateforme avec Kubernetes, GitLab CI (pipelines de déploiement et tests) et Prometheus/OpenTelemetry (monitoring et observabilité)

2. 2. Validation technique et faisabilité

   • Transformer quelques flux ETL existants pour démontrer la valeur ajoutée
   • Mettre en place des pipelines streaming (Kafka + Spark Structured Streaming)
   • Alimenter le datalake On-Premise (Iceberg + Trino)
   • Valider l'interopérabilité avec la plateforme Big Data GCP

3. 3. Collaboration et transmission

   • Travailler avec l'équipe Data & IA (besoins métiers/techniques) et les équipes DevOps/Infrastructure (intégration au socle)
   • Documenter les choix techniques, architectures et bonnes pratiques
   • Former et accompagner les équipes internes sur les nouveaux outils