TECH LEAD EXPERT DATA RAG (IT) / Freelance

Meetshake; Paris; Sur place; EUR 120 000 - 203 000; Plein temps

Résumé du poste

Meetshake est une société spécialisée dans l’édition et les services IA, recherchant un Expert Data & Retrieval capable de concevoir des pipelines d’ingestion, d’indexation et de retrieval à grande échelle en Europe.

Vous garantissez la fraîcheur des index et la qualité du retrieval tout en gérant des volumes massifs et une hétérogénéité des sources, avec une forte orientation RAG et sécurité des données.

Qualifications

• Expérience avérée en Data Engineering / Information Retrieval sur des volumes massifs en production.
• Expertise Retrieval : maîtrise de l'indexation, des embeddings et de la recherche hybride, capacité à mesurer puis améliorer la pertinence.
• Culture Data : pipelines reproductibles, qualité et lignage des données, versioning des datasets et des index.
• Solide culture IA / ML : embeddings, NLP et bonne compréhension des LLM (sans nécessairement être un expert serving).
• Polyvalence appréciée : connaissance d'autres langages (Java) pour sujets transverses est un vrai plus.
• Anglais fluide requis (contexte européen quotidien).

Responsabilités

• Concevoir et déployer des pipelines d'ingestion, nettoyage et indexation de gros corpus documentaires.
• Concevoir et optimiser des stratégies de retrieval (BM25 + embeddings) et le reranking par métadonnées.
• Mettre en place des tests, métriques et surveillance (logs, traces, qualité) et assurer la sécurité et la conformité des données.

Connaissances

Python

Go

NLP

Data Engineering

Information Retrieval

Anglais courant

SQL

Distributed systems

Formation

Master ou équivalent en Informatique/Data

Outils

pgvector

Weaviate

Qdrant

OpenSearch

PostgreSQL

Airflow

Spark

Kafka

Redis

Docker

Kubernetes

LangChain

OpenAI

Mistral

Bedrock

Description du poste

Secteur : Édition Spécialisée & Services Technologiques | Périmètre International
Type de contrat : Freelance Domaine : Intelligence Artificielle & Data Engineering
Portée : France (Périmètre Européen)
1. Contexte de la Mission
Aux côtés d'une équipe d'experts passionnés, vous relèverez les plus hauts défis techniques de la société. En tant qu'Expert Data & Retrieval, vous êtes le garant de la matière première de notre IA : la collecte, l'ingestion, l'indexation et la recherche de pertinence sur des volumes massifs de documents spécialisés, le socle qui alimente nos modèles de langage et nos produits. Votre terrain de jeu : transformer la manière dont tout un secteur professionnel travaille au quotidien.
Votre mission n'est pas d'écrire un simple script, mais de concevoir des pipelines de données robustes capables d'ingérer, de nettoyer et d'indexer d'énormes corpus textuels, puis d'exposer une recherche rapide et pertinente (sémantique et hybride) au service de plusieurs équipes à travers l'Europe. Vous garantirez la fraîcheur des index et la qualité du retrieval tout en gérant une complexité technique de haut vol (volumétrie, hétérogénéité des sources, évaluation de la pertinence, scalabilité).
2. Objectifs et Missions Principales
Vos missions principales s'articulent autour de trois axes : bâtir, outiller et transmettre.
1. Collecte, Ingestion & Indexation
Pipelines d'ingestion : Concevoir la collecte et le traitement de sources hétérogènes (open data, bases spécialisées, documents métier), le parsing, le nettoyage, le chunking et la normalisation des documents.
Indexation & Embeddings : Choisir et industrialiser les modèles d'embeddings, alimenter et maintenir les bases vectorielles, gérer la fraîcheur et la reconstruction des index.
Qualité & Volumétrie : Garantir la scalabilité de l'indexation sur des corpus massifs et la traçabilité des données (lignage, versioning des index).
2. Recherche & Pertinence (Retrieval)
Stratégie de retrieval : Combiner recherche lexicale et sémantique (BM25 + embeddings) avec reranking et filtrage par métadonnées pour maximiser la pertinence.
Évaluation continue : Mettre en place des jeux de tests et des métriques de pertinence (recall, precision, nDCG, MRR) pour mesurer et améliorer le retrieval.
RAG : Structurer la phase de récupération qui alimente les LLM (contexte, citations, dé-duplication, gestion des fenêtres de contexte).
Observabilité & Sécurité : Instrumenter les pipelines (logs, métriques, traces de qualité) et garantir la sécurité et la conformité des données (isolation par pays, conformité aux réglementations).
3. Leadership Technique & Gouvernance
Culture Craftsmanship : Promouvoir les pratiques de Clean Code, SOLID, et tests automatisés.
Rayonnement : Assurer une veille constante et contribuer au rayonnement technique du groupe (articles, meetups, open-source).
3. Profil Recherché & Stack Technologique
Diplôme requis : Master, Ph.D, Diplôme d'Ingénieur ou équivalent en Informatique / Data.
Stack Technologique Cible (à challenger) :
Langages : Python 3.11+ (maîtrise requise), Go.
Indexation : Bases vectorielles (pgvector, Weaviate, Qdrant, OpenSearch), recherche hybride / BM25.
Embeddings & NLP : sentence-transformers, modèles d'embeddings, tokenisation, parsing de documents.
RAG & LLM : LangChain, RAG, reranking, OpenAI, Mistral, Bedrock.
Data & Infra : PostgreSQL, Airflow / Spark (ou équivalent), Kafka, Redis, Docker, CI/CD, Kubernetes.
Tests & Qualité : Pytest, évaluation de la pertinence (recall, nDCG, MRR).
Compétences Attendues :
Expérience avérée en Data Engineering / Information Retrieval sur des volumes massifs en production.
Expertise Retrieval : maîtrise de l'indexation, des embeddings et de la recherche hybride, capacité à mesurer puis améliorer la pertinence.
Culture Data : pipelines reproductibles, qualité et lignage des données, versioning des datasets et des index.
Solide culture IA / ML : embeddings, NLP et bonne compréhension des LLM (sans nécessairement être un expert serving).
Polyvalence appréciée : une appétence pour d'autres langages (Java notamment) pour prêter main-forte sur des sujets transverses est un vrai plus.
Anglais fluide requis (contexte européen quotidien).
4. Soft Skills & Qualités Recherchées
Vision Produit : Comprendre les enjeux métiers pour prioriser les fonctionnalités. Vos index et votre moteur de recherche sont gérés comme un produit : vous considérez les autres développeurs comme vos clients.
Leadership Technique & Pédagogie : Capacité à évangéliser les bonnes pratiques data, retrieval et IA auprès des autres développeurs.
Obsession de la Qualité : Rigueur absolue sur la sécurité des données et la fiabilité des services.
Esprit d'Innovation : Curiosité active pour les avancées de l'écosystème IA, NLP et data.
Communication : Savoir vulgariser des concepts complexes auprès de différents interlocuteurs.
5. Pourquoi ce poste est unique ?
Vous intervenez au moment de la prise de décisions structurantes avec un réel pouvoir d'influence sur la stack finale.
Indexer et rendre pertinent un patrimoine documentaire massif et hétérogène au service de l'IA constitue un défi data rare.
L'objectif n'est pas de simplement 'livrer une feature', mais de créer le standard industriel du groupe pour les prochaines années.