Data Airflow expert

Craftman data; Paris; Hybrid; EUR 90,000 - 120,000; Full time

Job summary

Craftman data recherche un Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA pour renforcer son Data Platform. Vous piloterez l'optimisation, la sécurité et la migration vers une infrastructure cible adaptée afin d'assurer l'évolutivité et la résilience sur 9 pays européens.

Le rôle inclut l'amélioration de l'observabilité, la définition de standards, et le coaching des équipes Dev et Ops pour une autonomie durable.

Qualifications

• Séniorité: 5 ans d'expérience sur Apache Airflow et expérience significative en environnement managé (MWAA/Cloud Composer).
• Maîtrise du modèle d'exécution Airflow: scheduler, executor, pools, triggers, deferrable operators.
• Expertise AWS: MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM.
• Connaissance d'alternatives MWAA: Airflow sur ECS/EKS, Astronomer, Dagster ou Prefect.

Responsibilities

• Axe 1 — Optimisation architecturale: faire évoluer la DAG Factory et piloter la migration des dépendances inter-DAGs vers des mécanismes natifs Airflow.
• Axe 2 — Sécurisation et résilience: assurer l'observabilité, rotation des secrets, isolation des flux et reprise après incident.
• Axe 3 — Étude et migration: benchmark des alternatives à MWAA et plan de transition vers l'infrastructure retenue.
• Axe 4 — Autonomie des équipes: former et structurer Dev et Ops pour opérer durablement la plateforme.

Skills

Airflow

MWAA

AWS

Observabilité

Python avancé

Terraform

Migration orchestration

DAG Factory

Tools

ECS/EKS

Astronomer

Dagster

Prefect

Job description

Mission:

Renforcement de l'équipe Data Platform , avec un profil Lead Data Orchestration Engineer spécialisé sur Apache Airflow et AWS MWAA.

Contexte de la mission

La plateforme d'orchestration Airflow MWAA (version 2.10.3) gère des pipelines de données bancaires à travers 9 pays européens. Un audit technique approfondi a été conduit début 2026, suivi d'une phase de remédiation qui a permis de stabiliser les fondations.

La mission porte aujourd'hui sur l'optimisation et de sécurisation durable de la plateforme : passage à l'échelle, renforcement de l'observabilité, étude d'une infrastructure cible plus adaptée, et montée en compétence des équipes.

Objectifs de la mission

La mission se structure autour de quatre axes :

• Axe 1 — Optimisation architecturale
  Optimiser et faire évoluer les mécanismes d'orchestration existants pour permettre le passage à l'échelle et réduire les coûts d'exploitation (temps de résolution d'incidents, effort d'ajout de nouveaux pays).

• Axe 2 — Sécurisation et résilience
  Renforcer la robustesse de la plateforme face à la charge et aux défaillances : observabilité de bout en bout, politique de rotation des secrets, isolation des flux, capacité de reprise automatique.

• Axe 3 — Étude et migration vers une infrastructure cible
  L'audit a mis en évidence les limites structurelles d'AWS MWAA pour nos besoins (contraintes de scaling, manque de flexibilité sur la configuration, coûts). Le Lead Data Orchestration Engineer devra étudier les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect, ou autre solution adaptée à nos process) et piloter la migration vers l'infrastructure retenue si pertinent.

• Axe 4 — Autonomie des équipes
  Former et structurer les équipes Dev et Ops pour qu'elles puissent opérer, diagnostiquer et faire évoluer la plateforme en autonomie sur le long terme.

Profil recherché

Séniorité: 5 ans d'expérience minimum sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer).

Compétences techniques requises:

• Maîtrise du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators
• Expérience de tuning et d'optimisation de plateformes Airflow à l'échelle (200+ DAGs en production)
• Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM
• Connaissance d'alternatives à MWAA: Airflow sur ECS/EKS, Astronomer, ou orchestrateurs modernes (Dagster, Prefect) — expérience de migration d'un orchestrateur vers un autre fortement appréciée
• Expérience avec des DAG Factories dynamiques(génération de DAGs à partir de configurations) — capacité à faire évoluer et optimiser une factory existante
• Patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux
• Observabilité : métriques, dashboards, alerting, routage d'incidents par criticité
• Python avancé (plugins custom, operators, sensors)
• Infrastructure as Code (Terraform) — connaissance souhaitée

Compétences transverses:

• Capacité à concevoir et faire appliquer des standards techniques (code reviews, patterns, conventions)
• Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops)
• Capacité à piloter un programme d'optimisation technique (priorisation, suivi, reporting)
• Autonomie et force de proposition

Missions principales

• Axe 1 — Optimisation architecturale
• Faire évoluer la DAG Factoryexistante : enrichissement, patterns avancés, maintenabilité
• Piloter lamigration des dépendances inter-DAGsvers des mécanismes natifs Airflow (Datasets)
• Optimiser lesperformances au parse-time et runtime(mise en cache, suppression des appels coûteux)
• Mettre en place lavalidation automatisée des DAGs en CI/CD(parse test, linting, tests d'intégration)
• Axe 2 — Sécurisation et résilience
• Implémenter unepolitique de rotation des secrets
• Mettre en place leroutage différencié des alertespar type d'incident et par criticité
• Piloter lecapacity planninget le tuning de la plateforme (pools, scaling, rétention logs)
• Renforcer l'isolation réseauet le durcissement de la configuration
• Finaliser et maintenir lesrunbooks d'incidents(classification, escalade, post-mortem)
• Axe 3 — Étude et migration vers une infrastructure cible
• Réaliser un benchmarkdes alternatives à AWS MWAA au regard de nos contraintes (multi-pays, volumétrie, séparation Dev/Ops, coûts)
• Produire une recommandation argumentéeavec analyse coûts/bénéfices, risques de migration, et plan de transition
• Piloter la migrationvers l'infrastructure retenue (POC, migration progressive, bascule production)
• Garantir lacontinuité de servicependant la transition
• Axe 4 — Autonomie des équipes
• Lancer et piloter le programme de formationsur l'orchestration (Dev + Ops, ~10 personnes)
• Constituer la méta-équipe plateforme(vision unifiée Dev + Ops sous un leadership technique commun)
• Accompagner l'évolution des profils Dev → Data Engineers et Ops → DataOps
• Évaluer l'internalisation progressivede profils techniques clés