Data Engineer - Pricing Data & Big Data Platform

Collective.work; Lille; Sur place; EUR 86 000 - 113 000; Plein temps

Résumé du poste

Collective.work recherche un Data Engineer au sein d’une équipe dédiée au traitement et à la gouvernance des données de pricing. Vous concevrez et améliorerez des pipelines robustes et collaborerez avec les équipes Infra et Ops pour garantir la qualité et la traçabilité des données.

Vous apporterez une expertise sur DataBricks, DBT et Airflow, et vous contribuerez à transformer la stack existante vers des standards modernes avec des pratiques CI/CD et une gouvernance robuste.

Qualifications

• Maîtrise SQL avancée et optimisation des requêtes.
• Expérience pratique avec PySpark et Python.
• Utilisation régulière de DBT et DataBricks.
• Expérience avec Airflow pour orchestrer les DAGs.
• Connaissance AWS et pratiques CI/CD.
• Anglais écrit et parlé professionnel.

Responsabilités

• Concevoir, construire et maintenir pipelines et infrastructures de données.
• Garantir architecture, modélisation et évolutivité des flux.
• Assurer qualité du code et meilleures pratiques.
• Documenter les développements pour pérennité.
• Apporter expertise technique et choix optimisés.
• Conduire la migration de la stack legacy vers les nouveaux standards.

Connaissances

SQL

Python

PySpark

Git/GitHub/GitLab

Anglais

Outils

DataBricks

DBT

Airflow

Spark Scala

AWS

Astro

Description du poste

Collective.work recherche un Data Engineer au sein d’une équipe dédiée au traitement et à la gouvernance des données de pricing. Vous concevrez et améliorerez des pipelines robustes et collaborerez avec les équipes Infra et Ops pour garantir la qualité et la traçabilité des données.

Vous apporterez une expertise sur DataBricks, DBT et Airflow, et vous contribuerez à transformer la stack existante vers des standards modernes avec des pratiques CI/CD et une gouvernance robuste.