Senior Big Data Consultant (Spark on Kubernetes / Airflow / Kubernetes)

KLETA; Paris; Sur place; EUR 70 000 - 90 000; Plein temps

Résumé du poste

Une société spécialisée en data engineering cherche un professionnel expérimenté pour concevoir et gérer des plateformes cloud-native sur Kubernetes. Vous serez responsable de l'architecture des données, de l'industrialisation d'Airflow et de la mise en place d'opérations SRE. Le candidat idéal devra avoir 5 à 8 ans d'expérience, dont 3+ ans en production Kubernetes et 2+ ans en Airflow.

Qualifications

• 5-8 ans d’expérience dont 3+ sur K8s en production.
• 2+ ans d’expérience sur Airflow en production.
• Expérience avérée avec des plateformes data à grande échelle.

Responsabilités

• Définir l'architecture Data on Kube.
• Packager et déployer Airflow sur Kubernetes.
• Gérer la capacité et l'autoscaling sur la plateforme.

Connaissances

Kubernetes

Airflow

Big Data

Spark

Docker

Description du poste

Overview

Concevoir, industrialiser et opérer des plateformes data cloud-native sur Kubernetes, incluant l’orchestration de pipelines via Airflow sur Kube, afin d’accélérer l’ingestion, le traitement et la mise à disposition de données à grande échelle (batch & near-real time) avec des standards élevés de fiabilité, sécurité et coûts.

Responsabilités clés

• Architecture & design – Définir l’architecture Data on Kube (ingestion, stockage, calcul, orchestration, observabilité).
• Industrialisation & déploiement – Packager et déployer Airflow sur Kube (Helm chart officiel / Astro / OSS) avec HA, RBAC, autoscaling.
• Mettre en place des opérateurs Airflow (KubernetesPodOperator, SparkK8sOperator, etc.).
• Automatiser via GitOps (Argo CD / Flux) et CI / CD (GitHub Actions / GitLab CI).

• Opérations & SRE – Gérer la capacité, le autoscaling (HPA / VPA / Karpenter), la QoS et l’optimisation des coûts (requests / limits, Spot / Preemptible).
• Observabilité end-to-end (logs, metrics, traces) et runbook d’incident (SLA / SLO / SLI).
• Sécuriser la plateforme (NetworkPolicy, Secrets, IAM, image signing, pod security).

Data Engineering sur Kube

• Exécuter Spark / Flink / Beam sur K8s ; optimiser ressources, shuffle, I / O.
• Normaliser les environnements d’exécution (Docker base images, Python / Java runtimes).

Gouvernance & qualité

• Mettre en place un data contract / schema registry, tests de données (Great Expectations / Deequ), lineage (OpenLineage / Marquez).

Accompagnement

• Enablement des équipes data (templates, cookbooks), code reviews, mentorat et evangelism des bonnes pratiques.

Profil candidat :

Profil recherché5?8 ans d’expériences dont 3+ sur K8s en prod et 2+ sur Airflow en prod.

Expérience avérée de plateformes data à grande échelle (batch / streaming).

Expérience avérée Big Data Hadoop.