FREELANCE - DataOps Engineer Senior (H/F)

Ternair; Lille; On-site; EUR 65,000 - 95,000; Full time

Job summary

Ternair recherche un expert Data Engineering pour accompagner ses feature teams data. Vous dirigerez l’industrialisation des pipelines, standardiserez les pratiques et piloterez les déploiements en production avec les Data Analysts et Data Scientists.

Vous maîtrisez Databricks, Airflow et MLflow, et vous animerez des communautés de pratique tout en optimisant les coûts et en assurant la qualité des données et du code.

Qualifications

• Expérience significative (6 ans minimum) en Data Engineering, DataOps, MLOps ou Analytics Engineering.
• Maîtrise Databricks (jobs, Unity Catalog, Spark Declarative Pipelines) et Airflow.
• Connaissance des CI/CD pour pipelines data (GitHub Actions ou GitLab CI).
• Connaissance MLflow pour tracking et déploiement.
• Animation de communautés de pratique ou formation serait un plus.

Responsibilities

• Accompagner les Data Analysts et Data Scientists pour accélérer et sécuriser leurs livraisons.
• Définir des standards, déployer des outils et automatiser les processus.
• Assurer la qualité du code et des données et la fiabilité en production.
• Maîtriser les coûts et réduire la dette technique.
• Contribuer à l'évolution de l'infrastructure Terraform.
• Mettre en place le monitoring et la traçabilité des pipelines et des modèles.

Skills

Leadership d'influence

Pédagogie

Collaboration

Pragmatisme

Animation de communautés de pratique

Tools

Databricks

Airflow

MLflow

GitHub Actions

GitLab CI

Terraform

Job description

Pour accompagner ses équipes data en feature teams, notre client recherche

Son organisation data est structurée en feature teams autonomes, composées notamment de Data Analysts et de Data Scientists.

Votre rôle :

Vous accompagnez les Data Analysts et Data Scientists pour accélérer et sécuriser leurs livraisons. Vous définissez des standards, déployez des outils et automatisez les processus pour garantir la qualité du code et des données, la cohérence des pratiques, la fiabilité des mises en production ainsi que la maîtrise des coûts.

Qualité du code et standards :

• Définir et faire adopter des standards de développement communs,
• Mettre en place des processus adaptés, créer des templates et guidelines
• Réduire les duplications de features et de données.

Processus de mise en production :

• Standardiser les pipelines CI/CD des artefacts data (Databricks jobs, Spark Declarative Pipelines, BigQuery), définir les environnements et les processus de validation associés.
• Accompagner les Data Analysts et Data Scientists dans leurs mises en production (pair programming, revues, validation).
• Identifier et réduire la dette technique.
• Contribuer à l'évolution de l'infrastructure Terraform.

Optimisation et maîtrise des coûts :

• Analyser les patterns de consommation (clusters Databricks et requêtes BigQuery), identifier les flux redondants ou sous-optimaux et sensibiliser les équipes aux bonnes pratiques de performance.

Qualité de la donnée :

• Mettre en place des stratégies de tests et de monitoring sur les pipelines data, outiller la détection d'anomalies et la traçabilité des données.
• Structurer le cycle de vie des modèles avec MLflow (versioning, registry, déploiement).
• Accompagner les Data Scientists sur les bonnes pratiques MLOps et dans la définition du processus de développement et de mise en production.
• Outiller le monitoring des modèles (drift, performance).
• Vous justifiez d'une expérience significative (6 ans minimum) en Data Engineering, DataOps, MLOps ou Analytics Engineering.
• Vous maîtrisez Databricks (jobs, Unity Catalog, Spark Declarative Pipelines) ainsi qu'un orchestrateur de workflow, particulièrement Airflow (DAG design, custom operators).
• Vous connaissez les principes et outils de CI/CD : GitHub Actions ou GitLab CI appliqué à des pipelines data, Git avancé (branching strategies, gestion de monorepo).
• Vous connaissez les outils de gestion du cycle de vie des modèles, particulièrement MLflow (tracking, registry et déploiement).
• Une expérience en animation de communautés de pratique ou en formation serait un plus.

Vous êtes :

• Pragmatique et collaboratif(ve).
• Reconnu(e) pour votre leadership d'influence et votre pédagogie : vous savez convaincre et aligner des équipes autonomes, sans lien hiérarchique.
• Animé(e) par l'envie de challenger l'existant et d'identifier les incohérences et duplications à l'échelle de l'organisation.

Stack technique :

• Data plateforme : Databricks / Spark, Google Cloud Platform
• Pipelines & frameworks : Spark Declarative Pipelines (SparkSQL / PySpark), framework PySpark interne, notebooks PySpark et Scala, BigQuery

Le vrai plus :

Des connaissances du domaine du Retail et du Retail Media.