Consultant Data Engineer (Databricks / IA)

WOLSOME; Lille; Sur place; EUR 45 000 - 65 000; Plein temps

Résumé du poste

Une entreprise innovante recherche un(e) Consultant Data Engineer pour optimiser les flux Data et transformer l'architecture Data. Ce rôle inclut l'analyse et la simplification des flux existants, le développement de pipelines sur Databricks, ainsi que la collaboration sur des projets IA. Le candidat idéal possède une expérience significative, de bonnes compétences en optimisations de coûts et un intérêt pour l'IA générative. Localisation dans la métropole lilloise, démarrage ASAP.

Qualifications

• Expérience significative en tant que Data Engineer.
• Bonne maîtrise des outils Databricks et Spark.
• Intérêt pour l'IA générative et la modernisation de l'architecture Data.
• Sensibilité forte aux enjeux de coûts, performance et industrialisation.

Responsabilités

• Challenger et optimiser les flux Data existants.
• Développer des pipelines Data sur Databricks.
• Participer à la modernisation de l'architecture Data.
• Mettre en place des bonnes pratiques de performance.
• Mettre en place des bonnes pratiques de performance et de FinOps.
• Contribuer aux sujets IA / GenAI via l’utilisation de LLM ( Claude – Anthropic, GPT ou équivalent) appliqués au développement, à l’optimisation et à la documentation des flux Data.
• Être force de proposition sur les choix techniques et les innovations.
• Démarrage ASAP (Janvier-Février)
• Localisation : Métropole Lilloise.

Connaissances

Optimisation des flux Data

Databricks

Spark

IA générative

Gestion des coûts

Travail en équipe

Curiosité

Pragmatisme

Innovation

Travail en équipe

Outils

LLM (Claude – Anthropic, GPT ou équivalent)

Spark

Description du poste

Nous recherchons un(e) Consultant Data Engineer pour accompagner un acteur de référence dans un contexte de refonte de l’architecture Data et de transformation Data & IA.

L’objectif du projet est de challenger l’existant, optimiser les flux Data et réduire les coûts d’exploitation, tout en apportant une dynamique d’innovation autour de la performance, de l’industrialisation et des usages IA.

Responsabilités et compétences

• Analyser, challenger et optimiser les flux Data existants (performance, coûts, usages)
• Concevoir, développer et maintenir des pipelines Data sur Databricks
• Optimiser les traitements Spark afin de réduire les coûts de run
• Participer à la simplification et à la modernisation de l’architecture Data
• Mettre en place des bonnes pratiques de performance et de FinOps
• Contribuer aux sujets IA / GenAI via l’utilisation de LLM (Claude – Anthropic, GPT ou équivalent) appliqués au développement, à l’optimisation et à la documentation des flux Data
• Être force de proposition sur les choix techniques et les innovations
• Data Engineer avec une première expérience significative
• Bonne maîtrise de Databricks / Spark
• Sensibilité forte aux enjeux de coûts, performance et industrialisation
• Intérêt marqué pour l’IA générative et les LLM
• Profil curieux, pragmatique, avec une vraie envie d’apprendre et d’améliorer l’existant
• Bon relationnel et capacité à travailler en équipe
• Outils IA & GenAI : LLM (Claude – Anthropic, GPT ou équivalent)
• Environnement orienté performance, optimisation des coûts et innovation
• Démarrage ASAP (Janvier-Février)
• Localisation : Métropole Lilloise