Airflow Platform Engineer: Scale, Stabilize & Automate

Cherry-Pick; Paris; On-site; EUR 90,000 - 120,000; Full time

Job summary

Onyx-Conseil recherche un consultant pour stabiliser une plateforme Airflow MWAA en production, en lien avec les équipes Ops et Tech Lead. Vous effectuerez un diagnostic rapide, identifierez les causes racines et déploierez des correctifs opérationnels pour restaurer la fiabilité des exécutions.

La mission couvrira l’évaluation du dimensionnement MWAA, l’amélioration de l’observabilité et l’optimisation du code des DAGs afin de garantir une delivery proactive et une scalabilité durable de la

Qualifications

• Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes
• Isoler et corriger les comportements asynchrones non reproductibles en production
• Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions
• Évaluer le dimensionnement global de MWAA et arbitrer scaling des workers et allocation mémoire/CPU
• Mettre en place et affiner l'observabilité via AWS CloudWatch pour détecter les anomalies avant la panne
• Analyser l'impact du code des DAGs sur la plateforme (parse vs exécution, DAG Factory)
• Définir la trajectoire infra: sortir les workers vers des conteneurs Docker et améliorer la sécurité CI/CD

Responsibilities

• Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag).
• Isoler et corriger les comportements asynchrones non reproductibles en production liées aux dépendances de plugins.
• Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions.
• Évaluer le dimensionnement MWAA (instances, scaling, mémoire/CPU, slots, concurrence).
• Mettre en place l'observabilité via CloudWatch pour suivre le Scheduler et les connexions MetaDB.
• Analyser l’impact du code des DAGs sur le temps de parsing vs exécution et optimiser les DAGs.

Job description

Contexte & Enjeux

• Dans le cadre du passage à l'échelle de sa plateforme Data (croissance rapide de 100 à plus de 500 DAGs en production), l'environnement AWS MWAA du client subit des ralentissements majeurs et une instabilité récurrente.

• L'équipe technique dispose déjà d'un premier historique de recommandations, mais fait face à un effet de « balancier » : la résolution d'une anomalie en entraîne de nouvelles. L'objectif actuel est de sortir d'un mode uniquement réactif (pompier) pour reprendre la main de manière proactive sur la plateforme, comprendre les fondements infra/système, et offrir une sérénité totale sur le delivery et les déploiements.

• Missions & Responsabilités

• Le consultant aura les mains libres et la responsabilité directe de la stabilité de la plateforme Airflow, en lien étroit avec les équipes Ops et Tech Lead :

Urgence & Stabilisation Immédiate (Court Terme) :

• Réaliser un diagnostic flash des métriques de production et traiter la cause racine des pannes récurrentes (No space left on device, Deadlocks BDD, blocages Virtual Hand, dérives de parsing DagBag).

• Isoler et corriger les comportements asynchrones non reproductibles (erreurs survenant uniquement en production liées aux dépendances de plugins).

• Apporter des correctifs opérationnels immédiats pour restaurer la fiabilité des exécutions.

• Audit Infra, Tuning & Proactivité (Moyen Terme) :

• Évaluer le dimensionnement global de MWAA (arbitrage et réglages des instances, scaling horizontal vs vertical des workers, allocation de mémoire/CPU, gestion des slots et de la concurrence).

• Mettre en place et affiner l'observabilité de l'infrastructure via AWS CloudWatch (suivi du heartbeat du Scheduler, des connexions MetaDB, de la charge des workers) pour détecter les anomalies avant la panne.

• Analyser l'impact du code des DAGs sur la plateforme (distinction entre temps de parsing et temps d'exécution, suppression du code top-level bloquant, accompagnement sur l'usage des DAG Factory).

Pérennisation & Trajectoire Future (Long Terme) :

• Définir la trajectoire d'évolution infra, notamment la sortie des workers vers des conteneurs Docker pour isoler les traitements.

• Garantir la sécurité et la fiabilité des déploiements dans la CI/CD pour que les équipes projets puissent délivrer leurs pipelines sans risquer de déstabiliser la plateforme.

• Transmettre les bonnes pratiques de configuration aux équipes en place.