Data Engineer (H/F)

MANE CONSEIL; France; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise spécialisée en conseils IT recherche un(e) Data Engineer expérimenté(e) pour concevoir un workflow d'orchestration avec Apache Airflow. Ce poste nécessite une expérience de 5 ans minimum ainsi que la capacité à évaluer et migrer des pipelines de données. Des compétences en rédaction de requêtes SQL et en optimisation des processus sont également requises. Les avantages comprennent un ordinateur portable et une complémentaire santé. Le contrat est de type CDI avec 35 heures par semaine.

Prestations

Indemnité transports

Ordinateur portable

Complémentaire santé

Qualifications

• Expérience indispensable de 5 ans dans le domaine.
• Solide expérience sur Apache Airflow.
• Expérience en rédaction de requêtes SQL.

Responsabilités

• Concevoir le nouveau workflow d'orchestration de données basé sur Apache Airflow.
• Évaluer le PoC Airflow existant et proposer des améliorations.
• Migrer les pipelines de données existants vers la nouvelle plateforme.
• Écrire et maintenir des tests unitaires et d'intégration.
• Optimiser les pipelines existants lors de leur migration.
• Rédiger des requêtes SQL pour l'extraction, la transformation et le chargement des données.
• Contribuer aux bonnes pratiques d'industrialisation.

Connaissances

Analyser, exploiter, structurer des données

Description du poste

Migration Datawarehouse - Nous recherchons un(e) Data Engineer expérimenté(e)Dans le cadre de la refonte du framework Data Warehouse de notre client, nous recherchons un(e) Data Engineer disposant d'une solide expérience sur Apache Airflow afin de concevoir from scratch le nouveau workflow d'orchestration et de migrer progressivement l'existant vers cette nouvelle stack technique.Un PoC Airflow est déjà en place : nous recherchons donc un profil capable de challenger les choix techniques, proposer des améliorations et nous guider dans la définition de l'architecture cible.Missions principales- Concevoir from scratch le nouveau workflow d'orchestration de données basé sur Apache Airflow (architecture des DAGs, gestion des dépendances, scheduling, monitoring).- Évaluer et challenger le PoC Airflow existant : analyser les choix réalisés, proposer des alternatives et orienter les décisions d'architecture.- Migrer les pipelines de données existants depuis l'ancien workflow vers la nouvelle plateforme.- Écrire et maintenir des tests unitaires, d'intégration et de non-régression pour garantir la qualité et la fiabilité des pipelines migrés.- Optimiser les pipelines existants (performance, robustesse, coûts, lisibilité du code) lors de leur migration.- Rédiger et optimiser des requêtes SQL pour l'extraction, la transformation et le chargement des données (une expérience sur Oracle serait un plus).- Contribuer à la mise en œuvre de bonnes pratiques d'industrialisation (versioning, revue de code, CI/CD, documentation).- Accompagner et conseiller l'équipe sur les bonnes pratiques Airflow et Data Engineering (partage de connaissances, mentoring technique).

Type de contrat CDI Contrat travail Durée du travail 35H/semaine Travail en journée.

Salaire

• Indemnité transports
• Ordinateur portable
• Complémentaire santé
• A negocier

Expérience

• 5 An(s) Cette expérience est indispensable

Compétence

• Analyser, exploiter, structurer des données

Informations complémentaires

• Secteur d'activité : Conseil en systèmes et logiciels informatiques

Employeur

0 salarié (n'ayant pas d'effectif au 31/12 mais ayant employé des salariés au cours de l'année de référence)