Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)

KLETA; Argenteuil; Sur place; EUR 50 000 - 75 000; Plein temps

Résumé du poste

Une entreprise technologique spécialisée dans le cloud recherche un expert en ingénierie des données pour concevoir et opérer des plateformes cloud-native sur Kubernetes avec Airflow. Vous serez responsable de l'architecture, de l'industrialisation, et de la gestion des coûts liés aux données. Une expérience significative en Kubernetes et en Big Data est requise. Le poste est basé à Argenteuil, Île-de-France.

Qualifications

• 5-8 ans d'expérience, dont plus de 3 ans sur Kubernetes et plus de 2 ans sur Airflow.
• Expérience avérée avec des plateformes de données à grande échelle.
• Connaissances solides en Big Data et Hadoop.

Responsabilités

• Définir l'architecture Data on Kube.
• Packager et déployer Airflow sur Kubernetes.
• Gérer la capacité et l'optimisation des coûts.

Connaissances

Kubernetes

Airflow

Scala ou Python

Big Data

Description du poste

Overview

Concevoir, industrialiser et opérer des plateformes data cloud-native sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts.

Responsabilités clés

• Architecture & design – Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité).
• Industrialisation & déploiement – Packager et déployer Airflow sur Kube (Helm chart officiel / Astro / OSS) avec HA, RBAC, autoscaling.
• Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.).
• Automatiser via GitOps (Argo CD / Flux) et CI / CD (GitHub Actions / GitLab CI).

• Opérations & SRE – Gérer la capacité, le autoscaling (HPA / VPA / Karpenter), la QoS et l’optimisation des coûts (requests / limits, Spot / Preemptible).
• Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA / SLO / SLI).
• Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security).

Data Engineering sur Kube

• Exécuter Spark / Flink / Beam sur K8s ; optimiser ressources, shuffle, I / O.
• Normaliser les environnements d’exécution (Docker base images, Python / Java runtimes).

Gouvernance & qualité

• Mettre en place un data contract / schema registry, tests de données (Great Expectations / Deequ), lineage (OpenLineage / Marquez).

Accompagnement

• Enablement des équipes data (templates, cookbooks), code reviews, mentorat et evangelism des bonnes pratiques.

Profil candidat :

Profil recherché5?8 ans d’expériences dont 3+ sur K8s en prod et 2+ sur Airflow en prod.

Expérience avérée de plateformes data à grande échelle (batch / streaming).

Expérience avérée Big Data Hadoop.