Identification, intégration et évaluation de baselines pour un framework python d'évaluation du[...]

Orange; Lannion; Sur place; EUR 40 000 - 60 000; Temps partiel

Résumé du poste

Une entreprise de télécommunications recherche un(e) stagiaire pour un projet en Python. Vous serez encadré(e) par un Data Scientist et travaillerez sur des systèmes de dialogue en langage naturel. Vous devrez maîtriser Python et Git, et avoir des connaissances en machine learning. Ce stage de 6 mois est basé à Lannion, offrant un environnement dynamique et collaboratif avec des professionnels variés.

Prestations

Encadrement par un Data Scientist

Équipe pluridisciplinaire

Possibilité d'échanges avec d'autres stagiaires

Qualifications

• Être étudiant(e) dans une formation bac +5.
• Maîtriser la programmation en Python et Git.
• Avoir des connaissances en machine learning et/ou statistiques.

Responsabilités

• Tester et intégrer différentes méthodes dans LLMQA.
• Évaluer la performance de ces méthodes sur des datasets internes.
• Faire un tour d'horizon des méthodes disponibles.

Connaissances

Programmation en Python

Utilisation de Git

Connaissances en machine learning

Connaissances en traitement de la langue

Capacités de communication

Formation

Bac +5 école ingénieur ou master 2

Description du poste

Votre rôle

LLMQA est un outil développé en Python au sein de l'équipe NADIA et dont l'objectif est de faciliter l'évaluation de systèmes de question-réponse basés sur le RAG (Retrieval Augmented Generation). Il intègre des métriques d'évaluation, ainsi que des systèmes de RAG par défaut qui font office de baselines auxquelles comparer les systèmes évalués.

L'objectif du stage sera de tester différentes baselines, à partir des approches disponibles dans la littérature, et de les intégrer à LLMQA, afin d'augmenter la quantité et la qualité des baselines disponibles lors des évaluations.

En pratique, le/la stagiaire devra :

• Faire un tour d'horizon des méthodes disponibles (dans la littérature scientifiques et au niveau des implémentations disponibles pour python)
• Identifier les méthodes les plus intéressantes et les intégrer à LLMQA
• Evaluer la performance de ces méthodes sur des datasets internes et analyser les résultats

Selon la préférence du/de la stagiaire, le travail pourra se concentrer sur toutes les composantes du système de RAG (retrieval, génération, modules intermédiaires...) ou sur une seule.

Votre profil

Étuiant.e issu.e d'une formation bac +5 école ingénieur ou master 2 informatique ou statistiques ou master 2 Tal, tu es à la recherche d'un stage de 6 mois.

• tu maîtrises la programmation en Python et Git
• tu as des connaissances en machine learning et/ou statistiques et/ou traitement de la langue
• tu connais le domaine du NLP et tu voudrais approfondir des connaissances à ce sujet
• tu prends des initiatives et tu aimes travailler en équipe
• tu as de bonnes capacités de communication et de rédaction

Le plus de l'offre

Encadré.e par un Data Scientist, tu auras l'occasion d'évoluer dans une équipe avec des profils variés (d'autres data scientists, chercheurs, développeurs, doctorants, alternants) et au côté d'autres stagiaires. Tu auras aussi la possibilité d'échanger avec des stagiaires d'autres équipes pour découvrir de nouveaux sujets.

Tu auras l'opportunité de passer 6 mois à Lannion, en bord de mer (pique-niques et baignades !)

Entité

L'équipe NADIA " NAtural DIAlogue interaction " (NADIA) travaille - au sein de la direction DATA-IA dans la division Innovation - sur les systèmes de dialogue en langage naturel et sur l'analyse de conversations et de parcours.

L'équipe partage une passion pour les données et l'IA, nous développons des produits et outils, nous opérons à la pointe de la technologie et nous croyons en une approche pragmatique pour résoudre les problèmes difficiles.

C'est une équipe pluridisciplinaire composée d'une vingtaine de chercheurs, data-scientists, ingénieurs logiciels, doctorants et apprentis.

Contrat

Stage

Durée : 6 mois

Date souhaitée de prise de poste : 02 févr. 2026

Niveau d'études préparé pendant le stage Indemnité brute selon école Bac+5 de 1621 € à 2162 € / mois