Expert Data Engineer Python / Apache Airflow

Jems Group

Île-de-France

Sur place

EUR 65 000 - 95 000

Plein temps

Il y a 10 jours

Obtenez une réponse de cet employeur

Votre CV et votre lettre de motivation, adaptés exactement à ce que l’employeur recherche.

Passez les filtres ATS

Résumé du poste

Jems Group recherche un expert Python et Apache Airflow pour renforcer une équipe Data au sein d’un grand groupe international du secteur financier en Île-de-France. Vous concevrez et déploierez des traitements de données robustes et automatisés, en assurant fiabilité et performance.

Vous travaillerez en environnement cloud et conteneurisé (Docker/Kubernetes) et Collaborerez avec les équipes Data Engineering et les utilisateurs métiers.

Qualifications

  • Expertise confirmée en Python pour le développement de traitements de données.
  • Maîtrise d’Apache Airflow pour la création, l’orchestration et la supervision de workflows.
  • Bonne maîtrise de SQL et expérience avec des bases de données relationnelles.
  • Compréhension des architectures data et des chaînes de traitement de bout en bout.
  • Expérience des environnements cloud ou distribués.
  • Pratique des tests, du contrôle de version et des processus automatisés de livraison.
  • Capacité à analyser des incidents et à améliorer la fiabilité des traitements.

Responsabilités

  • Concevoir et maintenir des workflows Airflow pour enchaîner les étapes de traitement des données.
  • Développer et maintenir des traitements de données clairs, réutilisables et testables.
  • Contribuer à l’intégration et à la circulation des données entre les composants de la plateforme.
  • Analyser les incidents et corriger les anomalies rencontrées lors de l’exécution des traitements.
  • Optimiser les traitements afin de respecter les délais et les niveaux de service.

Connaissances

Python
Apache Airflow
SQL
Cloud / distributed environments

Outils

Docker
Kubernetes

Description du poste

Pour le compte d’un grand groupe international évoluant dans les services financiers et l’assurance, nous recherchons un expert Python et Apache Airflow pour renforcer une équipe Data. La mission s’inscrit dans le développement et l’exploitation d’une plateforme de données cloud, destinée à collecter, transformer, fiabiliser et mettre à disposition des données pour différents usages analytiques et applicatifs.

L’environnement est distribué et international. Le consultant travaillera en collaboration avec les équipes Data Engineering, les équipes utilisatrices des données et les interlocuteurs techniques.

Objectif de la mission

Concevoir, développer, automatiser et maintenir des traitements de données robustes à l’aide de Python et d’Apache Airflow, en veillant à leur fiabilité, leur performance, leur traçabilité et leur bonne intégration dans l’écosystème data existant.

Responsabilités principales
Développement Python

Développer et maintenir des traitements de données clairs, réutilisables et testables.

Concevoir des composants permettant de collecter, nettoyer, transformer et contrôler les données.

Appliquer les bonnes pratiques de développement : qualité du code, tests, documentation et gestion des erreurs.

Analyser les incidents et corriger les anomalies rencontrées lors de l’exécution des traitements.

Orchestration des traitements avec Apache Airflow

Concevoir et maintenir des workflows automatisés pour enchaîner les différentes étapes de traitement des données.

Définir les dépendances, calendriers d’exécution, reprises sur erreur et mécanismes de surveillance.

Suivre les exécutions, diagnostiquer les échecs et améliorer la stabilité des workflows.

Optimiser les traitements afin de respecter les délais d’exécution et les niveaux de service attendus.

Intégration et circulation des données

Mettre en place des flux de collecte, de transformation et de mise à disposition des données.

Interagir avec des bases de données et des services exposés par API.

Écrire et optimiser des requêtes SQL pour extraire, contrôler ou transformer les données.

Contribuer à la cohérence des échanges entre les différentes briques de la plateforme.

Profil recherché
Qualité, industrialisation et exploitation

Mettre en place des contrôles pour détecter les données manquantes, incohérentes ou inattendues.

Participer à l’automatisation des tests et au déploiement des évolutions.

Utiliser les outils de conteneurisation et de déploiement disponibles dans l’environnement.

Documenter les traitements, les dépendances et les procédures d’exploitation.

Contribuer à l’amélioration continue de la performance, de la sécurité et de la maintenabilité.

Collaboration avec les équipes

Travailler avec les ingénieurs data, les équipes applicatives et les utilisateurs des données.

Clarifier les besoins, proposer des solutions adaptées et partager les choix techniques.

Participer aux réunions d’équipe et aux pratiques de travail agiles.

Collaborer avec des interlocuteurs situés dans plusieurs pays.

Compétences requises

Expertise confirmée en Python pour le développement de traitements de données.

Maîtrise d’Apache Airflow pour la création, l’orchestration et la supervision de workflows.

Bonne maîtrise de SQL et expérience avec des bases de données relationnelles.

Compréhension des architectures data et des chaînes de traitement de bout en bout.

Expérience des environnements cloud ou distribués.

Pratique des tests, du contrôle de version et des processus automatisés de livraison.

Capacité à analyser des incidents et à améliorer la fiabilité des traitements.

Environnement technique

Python, Apache Airflow, SQL, bases de données, API, pipelines de données, environnement cloud, outils d’intégration et de déploiement continus, conteneurs (Docker) et orchestration de conteneurs (Kubernetes) selon le périmètre de la mission.

Profil recherché

Expérience significative en développement Python et en ingénierie des données.

Expérience concrète de mise en œuvre et d’exploitation d’Apache Airflow en environnement professionnel.

Autonomie, rigueur et capacité à investiguer des problèmes complexes.

Esprit d’équipe, communication claire et sens du service.

Une expérience dans un environnement international et agile est appréciée.

Français courant ; anglais professionnel pour les échanges avec les équipes internationales.

Informations sur la mission

Client : grand groupe international du secteur des services financiers / assurance (identité anonymisée).

Durée, localisation, rythme de présence et date de démarrage : à préciser.

Minimum 4 ans d’expérience requis. Une très bonne maîtrise de l’ensemble de la stack technique est indispensable. Merci de ne pas postuler si vous ne maîtrisez pas suffisamment ces technologies.

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.

Similar jobs

Postes similaires à comparer

Data Engineer Confirmà – Full Remote
Data Engineer Confirmà – Full Remote

Informatis-TS • Centre-Val de Loire

À distance
EUR 45 000 - 65 000
Senior Python Data Platform Engineer
Senior Python Data Platform Engineer

Gec Groupe • Île-de-France

À distance
EUR 55 000 - 75 000
Data Airflow expert
Data Airflow expert

Craftman data • Paris

Hybride
EUR 90 000 - 120 000
Senior Software Engineer Python / Data Platform (H/F)
Senior Software Engineer Python / Data Platform (H/F)

Gec Groupe • France

À distance
EUR 55 000 - 75 000
Senior Python & Airflow Data Engineer for Cloud Platform
Senior Python & Airflow Data Engineer for Cloud Platform

Jems Group • Île-de-France

Sur place
EUR 65 000 - 95 000
Data engineer AWS Python Apache Iceberg
Data engineer AWS Python Apache Iceberg

ALTEN • Boulogne-Billancourt

Sur place
EUR 45 000 - 55 000
Senior Python Developer / Data Engineer
Senior Python Developer / Data Engineer

Informatis-TS • France

Hybride
EUR 45 000 - 70 000
Data Engineer - Python/IA Agentic H/F
Data Engineer - Python/IA Agentic H/F

Jems Group • Le Chesnay-Rocquencourt

Sur place
EUR 70 000 - 110 000
Senior Data Engineer
Senior Data Engineer

Bureau des Talents • Paris

Sur place
EUR 65 000 - 90 000
Data & Analytics Engineer: Snowflake & Airflow Expert
Data & Analytics Engineer: Snowflake & Airflow Expert

Partenor • Paris

Sur place
EUR 65 000 - 90 000