Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H

Orange

Châtillon

On-site

EUR 15,000 - 18,000

Full time

2 days ago
Be an early applicant

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Benefits offered by this job

Restaurant d'entreprise
Titres-restaurants
Transport 50% pris en charge

Job summary

Orange Innovation recherche un stagiaire de fin d’études (5ᵉ année) en IA ou NLP pour travailler sur la spécialisation de modèles de langage dédiés aux télécoms. Vous concevrez des pipelines d’entraînement reproductibles et contribuerez à l’évaluation télécom traçable, avec des ablations et une documentation rigoureuse.

Le stage de 6 mois se déroule à Châtillon (Île-de-France). Profil Bac+5, maîtrise de Python et PyTorch, et anglais technique requis; perspective forte d’intégration et échanges

Qualifications

  • Stage de fin d'études en IA, ML ou NLP, bac+5.
  • Maîtrise Python et PyTorch.
  • Anglais technique lu et écrit.

Responsibilities

  • Concevoir un pipeline d'entraînement et d'évaluation reproductible.
  • Construire un jeu d'évaluation télécom traçable.
  • Réaliser des ablations et rapport sur les résultats.
  • Participer à des réunions et workshops avec l'équipe.

Skills

Python
PyTorch
Mathématiques
Statistiques
Anglais technique

Education

Bac+5 en IA / Master 2

Tools

Git
pytest
Inspect AI

Job description

Date de publication : Nov 05, 2026, 10:02AM

Durée du contrat : 6 mois

Et si votre stage de fin d'études contribuait à bâtir l'un des premiers modèles de langage dédiés aux télécoms en Europe ?

Les grands modèles de langage savent beaucoup de choses, mais pas toujours le jargon des réseaux télécoms.

Le sujet : comment spécialiser un modèle sur ce domaine, sans qu'il perde en fiabilité ? Peut-il toujours s'appuyer sur les documents fournis, dire « je ne sais pas » quand il le faut, et rester solide sur des documents jamais vus ?

Pour y répondre, vous étudierez la self-distillation on-policy, une technique où le modèle apprend à partir de ses propres productions, avec un professeur figé ou co-évolutif. Vous explorerez une question ouverte, dont la réponse reste à trouver.

Les axes de travail envisagés :

  • Reproduire un résultat publié avec son code officiel, pour valider votre chaîne expérimentale
  • Construire un jeu d'évaluation télécom traçable : partitions par document, décontamination vis-à-vis des benchmarks publics, cas où le contexte ne suffit pas à répondre
  • Comparer la self-distillation à deux méthodes de référence, un fine-tuning supervisé et un apprentissage par renforcement de type GRPO, à modèle initial identique et à budget de calcul documenté
  • Étudier deux formes d'information privilégiée : la réponse de référence et le passage documentaire
  • Évaluer les approches : exactitude, ancrage documentaire, abstention appropriée, robustesse, coût de calcul, avec des intervalles de confiance


Ces axes sont un point de départ : vos propres pistes sont les bienvenues, en lien étroit avec l'équipe d'encadrement.

Livrables attendus :

  • Un pipeline d'entraînement et d'évaluation reproductible et testé
  • Un jeu d'évaluation télécom traçable
  • Un rapport d'ablations (un résultat négatif bien contrôlé compte comme un résultat)
  • Un mémoire de stage et, si les résultats le permettent, une soumission en atelier (workshop)

Vous préparez un Bac+5 (école d'ingénieurs ou Master 2) en intelligence artificielle, machine learning, traitement du langage (NLP) ou mathématiques appliquées, et vous cherchez un stage de recherche de fin d'études de 5 à 6 mois.

Pour démarrer dans de bonnes condition :

  • Des bases solides en mathématiques, statistiques et machine learning
  • Vous êtes à l'aise en Python et PyTorch, avec de solides bases en machine learning et en statistiques
  • Vous lisez l'anglais technique sans difficulté (articles scientifiques, échanges d'équipe)


Un vrai plus si vous avez déjà expérimenté :

  • Les LLM : Hugging Face (Transformers, Datasets, TRL), fine-tuning, génération avec vLLM
  • L'entraînement sur cluster GPU : SLURM, PyTorch FSDP avec Accelerate, Linux
  • La recherche reproductible : git, pytest, suivi rigoureux des expériences
  • La distillation, GRPO ou des outils d'évaluation comme Inspect AI
  • Les réseaux télécoms

Votre façon de travailler :

  • Curieux·se et autonome : vous aimez chercher ce que vous ne savez pas encore, et dire « je ne sais pas » pour avancer plus vite
  • Méthodique face aux problèmes complexes
  • À l'aise pour présenter vos travaux, à l'écrit comme à l'oral
  • Ouvert·e à l'équipe : vous partagez vos avancées et aimez échanger

Nous lisons vos projets avec attention, qu'ils soient académiques ou personnels. ;)

Les ++++

  • Un sujet de recherche rare en Europe, à forte valeur ajoutée pour le secteur des télécoms
  • Une équipe d'une vingtaine de personnes à Châtillon (chercheurs, data scientists, data engineers), sur des sujets de pointe
  • Des présentations régulières de vos travaux, suivies de vraies discussionsDes échanges en anglais au quotidien, pour progresser en situation réelle
  • Des occasions de participer à des réunions et workshops avec d'autres acteurs du secteur ( à l'international)
  • Une équipesoudée et sympathique.


L'indemnité mensuelle brute de stage proposée est comprise entre 1300 et 1600 euros selon votre niveau d'études en cours.

À cela s'ajoutent l'accès aux activités sociales et culturelles proposées par votre comité social et économique, l'accès au restaurant d'entreprise ou aux titres-restaurant, ainsi que la prise en charge à hauteur de 50 % de votre abonnement au transport en commun.

Orange Innovation constitue la vitrine technologique du groupe, et se donne à ce titre les moyens d'explorer les sujets les plus avancés touchant aux métiers de l'opérateur.

Au sein de cette entité, la division Data & AI est reconnue pour son expertise. Vous serez intégré dans des programmes de développement de pointe et serez au contact d'experts reconnus dans leur domaine.

Date de début souhaitée : Mar 01, 2027, 12:00AM

Chez Orange, seules vos compétences comptent.

Quel que soit votre âge, genre, origine, parcours, religion, orientation sexuelle, handicap, neuroatypie, ou apparence, nous encourageons activement la diversité au sein de nos équipes, car elle constitue une force pour le collectif et un vecteur d’innovation.Orange est une entreprise handi-accueillante : n’hésitez pas à nous faire part de vos besoins spécifiques.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H
Stage - Self-distillation on-policy pour des modèles de langage spécialisés en télécommunications F/H

Valleesud • Châtillon

On-site
EUR 15,000 - 18,000
Restaurant d'entreprise
Titres-restaurants
Abonnement transport 50%
Stage Ingénieur Logiciel en GenAI pour le contrôle IoT F/H
Stage Ingénieur Logiciel en GenAI pour le contrôle IoT F/H

Orange Business • Châtillon

Remote
EUR 15,000 - 18,000
Indemnité de stage attractive
Restaurant d'entreprise
Titres-restaurant
+1
Stage - Test et Observabilité pour Assistants IA (F/H)
Stage - Test et Observabilité pour Assistants IA (F/H)

Orange Group • Friauville

Hybrid
EUR 8,900 - 17,000
Intégrer une équipe innovante Orange à
Travailler à Grenoble, cadre de vie al
Accompagnement personnalisé tout au长
Stage Ingénieur Modélisation Hybride Hétérogène (Physique/ML) pour la prédiction de la QoS F/H
Stage Ingénieur Modélisation Hybride Hétérogène (Physique/ML) pour la prédiction de la QoS F/H

Orange • Châtillon

On-site
EUR 10,000 - 19,000
Restaurant d'entreprise
Titres restaurant
Participation transport 50% des abonn/
Stage 6 mois - Ingénieur Logiciel & IA F/H
Stage 6 mois - Ingénieur Logiciel & IA F/H

Orange Business • Rennes

Hybrid
EUR 14,000 - 18,000
Indemnité de stage 1 261,26–1 621,62 €
Restaurant d’entreprise
Titre-restaurant
+1
Stage - Data Scientist – IA pour la modélisation de la propagation radio F/H
Stage - Data Scientist – IA pour la modélisation de la propagation radio F/H

Orange • Belfort

On-site
EUR 11,000 - 17,000
Activités Sociales et Culturelles
Restaurant d'entreprise / titres-REST
50% transport
Stage intégration d'agents IA au sein d'infrastructures réseau (F/H)
Stage intégration d'agents IA au sein d'infrastructures réseau (F/H)

Orange • Châtillon

On-site
EUR 10,000 - 19,000
Activités Sociales et Culturelles du C
Restaurant d'entreprise ou titres-rest
Transports remboursés à 50%
stage- Ingénieur Logiciel en GenAI pour renforcer les opérations F/H F/H
stage- Ingénieur Logiciel en GenAI pour renforcer les opérations F/H F/H

Orange • Lannion

On-site
EUR 15,000 - 18,000
Stage - Etude et Conception d'applications Agentiques - Generative UI F/H
Stage - Etude et Conception d'applications Agentiques - Generative UI F/H

Orange • Lannion

On-site
EUR 12,000 - 18,000
Stage rémunéré
Encadrement de qualité
Projets d'innovation IA
Stage - Etude et Conception d'applications Agentiques - Generative UI F/H
Stage - Etude et Conception d'applications Agentiques - Generative UI F/H

Orange Business • Rennes

On-site
EUR 12,000 - 19,000
Stage de fin d'études