Senior Databricks Data Engineer | PySpark & Airflow

Collective.work; Lille; Sur place; EUR 65 000 - 90 000; Plein temps

Résumé du poste

Collective.work recherche un Senior Data Engineer hands-on pour une Plateforme Data moderne à Lille. Vous rejoindrez une équipe produit avec un Product Manager, des Data Engineers et un Data Quality Manager afin d'assurer lAccessibilité, la fiabilité et la qualité des données à fort enjeu métier.

Vous concevrez, développerez et maintiendrez des pipelines robustes, moderniserez une stack legacy, et participerez aux choix techniques tout en assurant le RUN et la QA en production.

Qualifications

• Expérience significative en Data Engineering et conception de pipelines robustes.
• Maîtrise de Databricks et SQL avancé pour optimiser les traitements.
• Compétences Python/PySpark, dbt et orchestration Airflow/Astro.
• Connaissance Git et pratiques CI/CD + RUN et monitoring en prod.

Responsabilités

• Concevoir, développer et maintenir des pipelines robustes et performants.
• Moderniser une stack legacy vers les nouveaux standards de la Data Platform.
• Optimiser les traitements en SQL et Python/PySpark.
• Industrialiser, documenter et tester les modèles avec dbt.
• Concevoir et monitorer des DAGs complexes avec Airflow ou Astro.
• RUN de qualité: vous construisez et vous gérez le run.

Connaissances

SQL avancé

Python / PySpark

Anglais professionnel

Autonomie

Proactivité

Esprit métier

Outils

Databricks

dbt

Airflow

Astro

Git

CI/CD

AWS

Scala

Description du poste

Collective.work recherche un Senior Data Engineer hands-on pour une Plateforme Data moderne à Lille. Vous rejoindrez une équipe produit avec un Product Manager, des Data Engineers et un Data Quality Manager afin d'assurer lAccessibilité, la fiabilité et la qualité des données à fort enjeu métier.

Vous concevrez, développerez et maintiendrez des pipelines robustes, moderniserez une stack legacy, et participerez aux choix techniques tout en assurant le RUN et la QA en production.