Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)

KLETA; Brunoy; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Une entreprise technologique en Île-de-France recherche un expert en ingénierie des données pour concevoir et gérer des plateformes cloud-native sous Kubernetes. Le candidat idéal aura 5-8 ans d'expérience, dont au moins 3 ans en production sur Kubernetes et 2 ans sur Airflow. Des compétences en Big Data sont requises, ainsi qu'une expérience dans l'industrialisation de processus de traitement de données à grande échelle.

Qualifications

• 5-8 ans d'expérience, dont 3+ ans sur Kubernetes en production.
• Expérience requise sur des plateformes data à grande échelle.
• Compétences avérées en Big Data avec Hadoop.

Responsabilités

• Définir l'architecture Data sur Kubernetes.
• Packager et déployer Airflow avec haute disponibilité.
• Automatiser les processus via GitOps et CI/CD.
• Gérer la capacité et l'optimisation des coûts.

Connaissances

Kubernetes

Airflow

Big Data

Spark

GitOps

Description du poste

Overview

Concevoir, industrialiser et opérer des plateformes data cloud-native sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts.

Responsabilités clés

• Architecture & design – Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité).
• Industrialisation & déploiement – Packager et déployer Airflow sur Kube (Helm chart officiel / Astro / OSS) avec HA, RBAC, autoscaling.
• Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.).
• Automatiser via GitOps (Argo CD / Flux) et CI / CD (GitHub Actions / GitLab CI).

• Opérations & SRE – Gérer la capacité, le autoscaling (HPA / VPA / Karpenter), la QoS et l’optimisation des coûts (requests / limits, Spot / Preemptible).
• Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA / SLO / SLI).
• Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security).

Data Engineering sur Kube

• Exécuter Spark / Flink / Beam sur K8s ; optimiser ressources, shuffle, I / O.
• Normaliser les environnements d’exécution (Docker base images, Python / Java runtimes).

Gouvernance & qualité

• Mettre en place un data contract / schema registry, tests de données (Great Expectations / Deequ), lineage (OpenLineage / Marquez).

Accompagnement

• Enablement des équipes data (templates, cookbooks), code reviews, mentorat et evangelism des bonnes pratiques.

Profil candidat :

Profil recherché5?8 ans d’expériences dont 3+ sur K8s en prod et 2+ sur Airflow en prod.

Expérience avérée de plateformes data à grande échelle (batch / streaming).

Expérience avérée Big Data Hadoop.