Stage - Conception et évaluation d'une approche Speech-to-Speech F/H

Orange; Cesson-Sévigné; On-site; EUR 8,900 - 13,000; Full time

Job summary

Orange Innovation – Data AI MAS recherche un stagiaire pour étudier la conception d’un système Speech-to-Speech compact et adapté à un cas d’usage applicatif. Le stage vise à réduire le coût des modèles et à améliorer l’efficacité, tout en maintenant un dialogue structuré et la capacité d’interroger des bases de données ou d’appeler des API.

Le candidat idéal maîtrise l’apprentissage profond, Python (NumPy, Pandas) et PyTorch, avec une connaissance des Transformers et des outils Git, Linux,

Qualifications

• Connaissances approfondies en apprentissage profond et architectures

Responsibilities

• Étudier la conception d'un système Speech-to-Speech compact et adapté à un cas d'usage.
• Réduire le coût d'un modèle Speech-to-Speech (compression, latence, distillation par bloc).
• Adapter le système à un cas d'usage agentique et maintenir un état structuré du dialogue, interroger une base de données ou appeler une API, tout en restant transparent pour l'utilisateur.

Skills

Deep learning

Python (NumPy, Pandas)

PyTorch

Hugging Face Transformers

Git

Linux

Docker

Slurm

Speech processing

Education

Master 2 en ingénierie ou équivalent (IA/ML/traitement de la parole)

Tools

Docker

Slurm

Git

Linux

Job description

Au sein de l'entité Data AI d'Orange Innovation, l'équipe MAS rassemble environ 25 chercheurs, ingénieurs, développeurs, data scientists, doctorants et apprentis spécialisés. L'équipe mène des travaux de R&D sur les technologies de la parole au sens large : reconnaissance automatique de la parole (ASR) multilingue, diarisation, synthèse vocale (TTS), évaluation et optimisation des modèles. Nous ancrons nos recherches dans la méthode scientifique : revue de littérature, formulation d'hypothèses, protocoles expérimentaux robustes, analyse statistique et reproductibilité. Nos résultats sont partagés via rapports techniques, séminaires internes, contributions open source et, lorsque pertinent, soumissions à des ateliers/conférences internationales spécialisées.

Les systèmes Speech-to-Speech récents [1,2] permettent des interactions vocales naturelles, parfois en full-duplex, avec gestion des interruptions et déclenchement d'actions. De plus, il est désormais possible grâce à certains benchmarks [3] d'évaluer ces capacités dans des scénarios réalistes.

Ces modèles restent toutefois souvent coûteux, difficiles à adapter et peu simples à déployer on-premise. L'objectif du stage sera d'étudier la conception d'un système Speech-to-Speech compact et adapté à un cas d'usage applicatif.

Le stage s'articulera autour de deux axes :

• réductiondu coût d'un modèle Speech-to-Speech (compression, optimisation de latence, distillation par bloc)
• adaptation à un cas d'usage agentique spécifique et limité, dans lequel le système pourra maintenir un état structuré du dialogue, recueillir les informations nécessaires au remplissage d'un formulaire et déclencher des actions (par exemple interroger une base de données ou appeler une API) tout en restant transparent pour l'utilisateur.

Références :

• [1] Défossez, A., Mazaré, L., Orsini, M., Royer, A., Pérez, P., Jégou, H., Grave, E. and Zeghidour, N. (2024) 'Moshi: A speech-text foundation model for real-time dialogue'.
• [2] Lin, G.-T., Chen, C., Chen, Z. and Lee, H.-Y. (2026) 'Full-Duplex-Bench-v3: Benchmarking tool use for full-duplex voice agents under real-world disfluency'.
• [3] NVIDIA NemotronLabs VoiceChat 11B: https://huggingface.co/nvidia/NVIDIA-NemotronLabs-VoiceChat-11B

Fin d'études (M2 école d'ingénieur ou université), spécialisation IA/ML/traitement de la parole.

Vos hard skills :

• Connaissances poussées en apprentissage profond (architectures, algorithmes et méthodes)
• Excellente maîtrise de Python (NumPy, pandas) et de PyTorch
• Connaissance des librairies Hugging Face Transformers
• Environnement de dev: Git, Linux, Docker, Slurm
• Une première expérience en parole ou en lien avec le sujet du stage est un plus.

Vos soft skills :

• Vous êtes rigoureux et attentif aux détails.
• Vous êtes curieux, aimez comprendre les mécanismes et tester vos hypothèses.
• Vous êtes autonome et respectez les délais.
• Vous savez collaborer avec d'autres et demandez de l'aide quand nécessaire.
• Vous communiquez simplement vos résultats : rédaction et diffusion scientifique de base, structuration de résultats, figures/tables claires (LaTeX apprécié)
• Vous documentez vos travaux de manière claire.

Ref : 31133651