Airflow Data Engineer: DAG Architect & Pipeline Migration

MANE CONSEIL; France; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise spécialisée en conseils IT recherche un(e) Data Engineer expérimenté(e) pour concevoir un workflow d'orchestration avec Apache Airflow. Ce poste nécessite une expérience de 5 ans minimum ainsi que la capacité à évaluer et migrer des pipelines de données. Des compétences en rédaction de requêtes SQL et en optimisation des processus sont également requises. Les avantages comprennent un ordinateur portable et une complémentaire santé. Le contrat est de type CDI avec 35 heures par semaine.

Prestations

Indemnité transports

Ordinateur portable

Complémentaire santé

Qualifications

• Expérience indispensable de 5 ans dans le domaine.
• Solide expérience sur Apache Airflow.
• Expérience en rédaction de requêtes SQL.

Responsabilités

• Concevoir le nouveau workflow d'orchestration de données basé sur Apache Airflow.
• Évaluer le PoC Airflow existant et proposer des améliorations.
• Migrer les pipelines de données existants vers la nouvelle plateforme.
• Écrire et maintenir des tests unitaires et d'intégration.
• Optimiser les pipelines existants lors de leur migration.
• Rédiger des requêtes SQL pour l'extraction, la transformation et le chargement des données.
• Contribuer aux bonnes pratiques d'industrialisation.

Connaissances

Analyser, exploiter, structurer des données

Description du poste

Une entreprise spécialisée en conseils IT recherche un(e) Data Engineer expérimenté(e) pour concevoir un workflow d'orchestration avec Apache Airflow. Ce poste nécessite une expérience de 5 ans minimum ainsi que la capacité à évaluer et migrer des pipelines de données. Des compétences en rédaction de requêtes SQL et en optimisation des processus sont également requises. Les avantages comprennent un ordinateur portable et une complémentaire santé. Le contrat est de type CDI avec 35 heures par semaine.