Senior Data Engineer Databricks / PySpark - Freelance (H/F)

Collective.work; Lille; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Collective.work recherche un Senior Data Engineer hands-on pour une Plateforme Data moderne à Lille. Vous rejoindrez une équipe produit avec un Product Manager, des Data Engineers et un Data Quality Manager afin d'assurer lAccessibilité, la fiabilité et la qualité des données à fort enjeu métier.

Vous concevrez, développerez et maintiendrez des pipelines robustes, moderniserez une stack legacy, et participerez aux choix techniques tout en assurant le RUN et la QA en production.

Qualifications

• Expérience significative en Data Engineering et conception de pipelines robustes.
• Maîtrise de Databricks et SQL avancé pour optimiser les traitements.
• Compétences Python/PySpark, dbt et orchestration Airflow/Astro.
• Connaissance Git et pratiques CI/CD + RUN et monitoring en prod.

Responsabilités

• Concevoir, développer et maintenir des pipelines robustes et performants.
• Moderniser une stack legacy vers les nouveaux standards de la Data Platform.
• Optimiser les traitements en SQL et Python/PySpark.
• Industrialiser, documenter et tester les modèles avec dbt.
• Concevoir et monitorer des DAGs complexes avec Airflow ou Astro.
• RUN de qualité: vous construisez et vous gérez le run.

Connaissances

SQL avancé

Python / PySpark

Anglais professionnel

Autonomie

Proactivité

Esprit métier

Outils

Databricks

dbt

Airflow

Astro

Git

CI/CD

AWS

Scala

Description du poste

CONTEXTEPour accompagner un grand groupe international dans la modernisation de la plateforme Data, nous recherchons un Senior Data Engineer hands-on. Vous intégrerez une équipe produit composée d'un Product Manager, de Data Engineers et d'un Data Quality Manager. L'objectif est de garantir l'accessibilité, la fiabilité et la qualité de données à fort enjeu métier.

Missions

• Concevoir, développer et maintenir des pipelines robustes et performants
• Moderniser une stack legacy vers les nouveaux standards de la Data Platform
• Développer et optimiser les traitements en SQL et Python/PySpark
• Industrialiser, documenter et tester les modèles avec dbt
• Concevoir et monitorer des DAGs complexes avec Airflow ou Astro
• Assurer un RUN de qualité selon le principe "You build it, you run it"
• Contribuer aux choix techniques, à la qualité du code et aux pratiques CI/CD
• Garantir la qualité, la fiabilité et la gouvernance des données
• Collaborer avec les équipes produit, métier, Infra et OPS dans un environnement Agile

Outils & Environnement

• Databricks
• SQL avancé et optimisation des traitements
• Python et PySpark
• dbt
• Airflow ou Astro
• Git et les pratiques CI/CD
• RUN, monitoring et résolution d'incidents en production
• Connaissance d'AWS et de Scala (un plus)

Conditions de Travail

• Démarrage souhaité : ASAP
• Durée : Mission longue1.
• 1. Vous justifies d'une expérience significative en Data Engineering
• 2. Maîtrise de Databricks
• 3. Maîtrise de SQL avancé et optimisation des traitements
• 4. Maîtrise de Python et PySpark
• 5. Maîtrise de dbt
• 6. Maîtrise de Airflow ou Astro
• 7. Maîtrise de Git et des pratiques CI/CD
• 8. Expérience en RUN, monitoring et résolution d'incidents en production
• 9. Une connaissance d'AWS et de Scala constitue un plus
• 10. Être autonome, proactif et engagé, avec une forte appétence métier
• 11. Savoir proposer des solutions simples et efficaces, documenter les développements et communiquer avec des interlocuteurs techniques et fonctionnels
• 12. Un anglais professionnel, notamment à l'écrit, est demandé
• Type de contrat Profession libérale
• Emploi non salarié
• Salaire
• Rémunération : - /

Expérience

• Débutant accepté