Data Engineer - Freelance (H/F)

Collective.work; Lille; Sur place; EUR 86 000 - 113 000; Plein temps

Résumé du poste

Collective.work recherche un Data Engineer au sein d’une équipe dédiée au traitement et à la gouvernance des données de pricing. Vous concevrez et améliorerez des pipelines robustes et collaborerez avec les équipes Infra et Ops pour garantir la qualité et la traçabilité des données.

Vous apporterez une expertise sur DataBricks, DBT et Airflow, et vous contribuerez à transformer la stack existante vers des standards modernes avec des pratiques CI/CD et une gouvernance robuste.

Qualifications

• Maîtrise SQL avancée et optimisation des requêtes.
• Expérience pratique avec PySpark et Python.
• Utilisation régulière de DBT et DataBricks.
• Expérience avec Airflow pour orchestrer les DAGs.
• Connaissance AWS et pratiques CI/CD.
• Anglais écrit et parlé professionnel.

Responsabilités

• Concevoir, construire et maintenir pipelines et infrastructures de données.
• Garantir architecture, modélisation et évolutivité des flux.
• Assurer qualité du code et meilleures pratiques.
• Documenter les développements pour pérennité.
• Apporter expertise technique et choix optimisés.
• Conduire la migration de la stack legacy vers les nouveaux standards.

Connaissances

SQL

Python

PySpark

Git/GitHub/GitLab

Anglais

Outils

DataBricks

DBT

Airflow

Spark Scala

AWS

Astro

Description du poste

Taux journalier (TJM): 540€/jourCONTEXTEL'équipe (1 Product Manager, 3 Data Engineer, 1 Data Quality Manager) est au centre de cette dynamique. Son rôle est capital : garantir l'accessibilité, la fiabilité et la qualité des données au service des différentes équipes qui ont des besoins relatifs aux données de pricing.MISSIONSEn tant que Data Engineer au sein de cette équipe, vous êtes une personne engagée, dynamique et proactive avec une forte appétence Business. Vous ne vous contentez pas de maintenir des pipelines, vous les concevez pour générer de la valeur et accélérer l'innovation sur notre écosystème.Vous jouerez un rôle pivot dans le succès des nouveaux projets d'intégration d'outils et l'évolution de nos systèmes.

• *Concevoir, construire et maintenir des infrastructures et des pipelines robustes et performantes
• *Garantir une architecture et une modélisation des flux optimisés et évolutives
• *Garantir la qualité du code et promouvoir les meilleures pratiques
• *Garantir la clarté et la pérennité des développements par une documentation rigoureuse
• *Apporter une expertise et aider l'équipe à prendre les meilleurs choix techniques
• *Transformer la stack legacy vers les nouveaux standards
• *Garantir un RUN de qualité (SLA)
• *Assurer la qualité, la fiabilité et la gouvernance des données de pricing
• *Collaborer en environnement Agile (Scrum)
• *Respecter les engagements de sprint et s'inscrire dans une démarche d'amélioration continue

OUTILS & ENVIRONNEMENT

• *Plateforme Data Core (Cloud & Gouvernance)Expérience significative sur DataBricks pour la gestion des clusters, l'optimisation des performances des workloads Big Data et la mise en place d'une gouvernance solideUne connaissance de AWS sera un plus
• *Langages & ModélisationMaîtrise avancée et pratique SQL pour la modélisation, l'optimisation des traitementsExpérience significative avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing de nos modèles de donnéesMaîtrise avancée et pratique de Python/PySpark pour la transformation et le traitement de donnéesUne expérience sur Spark Scala serait un plus
• *OrchestrationExpérience significative avec Astro / Airflow pour la création, le monitoring et l'optimisation des DAGs (Directed Acyclic Graphs) complexes garantissant la fiabilité de notre chaîne de production Data
• *Méthodologie & QualitéTravail en environnement agile (Scrum)Pratique quotidienne de la revue de code (code review) et des principes de CI/CD (intégration et déploiement continus) via des outils comme Git/GitLab/GitHubGarantir la qualité de la donnée qui est mise à disposition de nos consommateurs
• *ModélisationGarantir une modélisation au service du "Easy to Use" et la performance d'utilisation
• *Communication locale et internationaleAssurer une collaboration efficace et de qualité avec nos équipes techniques (Infra, OPS)Une bonne connaissance de l'anglais est demandée notamment à l'écrit pour interagir au quotidien avec nos consommateurs en pays et nos partenaires non francophones

CONDITIONS DE TRAVAIL

• *Localisation : Lille
• *TJM : 540€
• 1. Personne engagée, dynamique et proactive avec une forte appétence Business
• 2. Expérience significative sur DataBricks pour la gestion des clusters et l'optimisation des performances Big Data
• 3. Connaissance de AWS (un plus)
• 4. Maîtrise avancée et pratique de SQL pour la modélisation et l'optimisation des traitements
• 5. Expérience significative avec DBT (Data Build Tool) pour l'industrialisation, la documentation et le testing des modèles de données
• 6. Maîtrise avancée et pratique de Python/PySpark pour la transformation et le traitement de données
• 7. Expérience sur Spark Scala (un plus)
• 8. Expérience significative

Type de contrat Profession libérale
Emploi non salarié Salaire

• Rémunération : 540 € par jour

Profil souhaité

Expérience

• 2 An(s) Cette expérience est indispensable

Employeur

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi. Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels. Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours