Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)

KLETA; Le Raincy; Sur place; EUR 50 000 - 70 000; Plein temps

Résumé du poste

Une entreprise technologique recherche un Data Engineer expérimenté pour concevoir et opérer des plateformes cloud sur Kubernetes. Vous serez responsable de l'architecture, de l'industrialisation et de l'optimisation des flux de données. Le candidat idéal doit avoir au moins 5 ans d'expérience, dont 3 ans sur K8s et 2 ans sur Airflow. Offrir des pratiques de gouvernance des données est nécessaire pour ce rôle.

Qualifications

• 5 à 8 ans d’expérience dont 3+ sur K8s en production.
• 2+ ans d’expérience avec Airflow en production.
• Expérience sur des plateformes de données à grande échelle.

Responsabilités

• Définir l’architecture Data sur Kubernetes.
• Automatiser les déploiements avec GitOps.
• Gérer la capacité et l'autoscaling.

Connaissances

Kubernetes

Airflow

Big Data

GitOps

CI/CD

Description du poste

Overview

Concevoir, industrialiser et opérer des plateformes data cloud-native sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts.

Responsabilités clés

• Architecture & design – Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité).
• Industrialisation & déploiement – Packager et déployer Airflow sur Kube (Helm chart officiel / Astro / OSS) avec HA, RBAC, autoscaling.
• Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.).
• Automatiser via GitOps (Argo CD / Flux) et CI / CD (GitHub Actions / GitLab CI).

• Opérations & SRE – Gérer la capacité, le autoscaling (HPA / VPA / Karpenter), la QoS et l’optimisation des coûts (requests / limits, Spot / Preemptible).
• Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA / SLO / SLI).
• Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security).

Data Engineering sur Kube

• Exécuter Spark / Flink / Beam sur K8s ; optimiser ressources, shuffle, I / O.
• Normaliser les environnements d’exécution (Docker base images, Python / Java runtimes).

Gouvernance & qualité

• Mettre en place un data contract / schema registry, tests de données (Great Expectations / Deequ), lineage (OpenLineage / Marquez).

Accompagnement

• Enablement des équipes data (templates, cookbooks), code reviews, mentorat et evangelism des bonnes pratiques.

Profil candidat :

Profil recherché5?8 ans d’expériences dont 3+ sur K8s en prod et 2+ sur Airflow en prod.

Expérience avérée de plateformes data à grande échelle (batch / streaming).

Expérience avérée Big Data Hadoop.