Lead / Senior Data Engineer — Streaming & Temps Réel (IT) / Freelance

Cherry Pick; Provence-Alpes-Côte d'Azur; On-site; EUR 90,000 - 130,000; Full time

Job summary

Cherry-Pick recherche un lead Data Engineer pour concevoir et bâtir une plateforme de données en streaming, alimentant modèles de recommandation en temps réel et enrichissant les profils clients. Le poste implique de résoudre des défis d’architecture et de garantir des temps de réponse rapides.

Vous piloterez des pipelines from scratch, travaillerez sur les couches batch et encadrerez l’équipe montante, tout en assurant les bonnes pratiques CI/CD et la documentation.

Qualifications

• Maîtrise des concepts de streaming et traitement temps réel.
• Expérience confirmée en architecture event-driven.
• Expertise Google Cloud Platform et BigQuery exigée.

Responsibilities

• Concevoir et construire le pipeline de données en streaming from scratch.
• Garantir des temps de réponse proches de 3 secondes entre recherche et recommandation.
• Définir et challenger l’architecture event-driven et la stack associée.
• Gérer les pipelines batch pour enrichir l’historique et les profils clients.
• Accompagner la montée en puissance de l’équipe et agir comme référent technique.

Skills

Streaming concepts

Real-time processing

Event-driven architecture

Python

CI/CD

Documentation

Tools

Google Cloud Platform

BigQuery

Terraform

Kafka

Job description

Le contexte

Un acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil.

Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit.

Vos missions

• Concevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation.

• Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée.

• Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial.

• Gérer également une partie batch pour enrichir l'historique et les profils clients.

• Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique.

Compétences techniques requises

Streaming & temps réel (critique)

• Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka.

• Expérience solide d'une architecture event-driven.

Cloud & traitement

• Expertise Google Cloud Platform (BigQuery notamment).

• Python comme langage principal.

• Aisance sur les pipelines batch pour l'enrichissement de données historiques.

Pratiques d'ingénierie

• Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.