Stage - Conception d'un détecteur sémantique d'activité vocale pour des voicebot plus intellige[...]

Orange; Cesson-Sévigné; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise de télécommunications recherche un stagiaire pour travailler sur des solutions de détection d'activité vocale. Vous étudierez et développerez des approches innovantes en intelligence artificielle. Ce stage de 6 mois offre un environnement convivial, des perspectives de carrière dans l'IA et une rémunération de 1621 € à 2162 € par mois selon l'école.

Prestations

Environnement convivial et stimulant

Intégration dans une équipe experte et bienveillante

Qualifications

• Connaissances en intelligence artificielle et deep learning.
• Expérience en Python et PyTorch.
• Bon niveau en environnement Linux, versioning et Docker.
• Expérience en traitement de la parole souhaitée.

Responsabilités

• Étudier et développer des solutions alternatives à la VAD.
• Analyse de l'état de l'art des méthodes innovantes en VAD.
• Développer et entraîner un modèle de VAD sémantique.

Connaissances

Intelligence artificielle

Deep Learning

Python

PyTorch

Environnement Linux

Outils de versioning (git)

Docker

Traitement de la parole / audio

Formation

Étudiant(e) en Master ou école d'ingénieur

Description du poste

Votre rôle

Les applications de chat vocal (comme Gemini, gpt4o-realtime, Moshi) sont une révolution des interactions homme-machine, promettant une discussion fluide en langage naturel et permettant de répondre à un nombre important de cas d'usage. Néanmoins, il existe encore des freins à l'adoption de telles approches. En particulier, il est essentiel de déterminer avec précision le moment où l'utilisateur a terminé de parler afin de générer une réponse adaptée et réactive. La détection d'activité vocale (VAD) traditionnelle repose sur des modèles qui identifient simplement si l'utilisateur parle ou non, en utilisant un seuil d'énergie et un délai de silence fixe après la fin de la parole. Cependant, cette approche présente des limites, notamment en présence de longues pauses ou d'intonations variées, qui peuvent entraîner des erreurs de détection.

L'objectif de ce stage est d'étudier et de développer des solutions alternatives à la VAD basée sur seuils et délais de silence fixes, en particulier la VAD sémantique. Cette dernière a pour promesse d'améliorer la précision de la détection de la fin de la parole en prenant en compte le contenu linguistique et l'intonation d'un énoncé.

Le stage débutera par une prise en main des solutions existantes, avec une analyse du fonctionnement des systèmes Speech2Speech et une évaluation des limites de la VAD basée seuils et délais fixes. Ensuite, une revue de l'état de l'art sera réalisée pour identifier les méthodes innovantes et les approches récentes en matière de VAD, de Speech2Speech et de VAD sémantique. Par la suite, des métriques pertinentes seront définies afin de mesurer la performance, la latence et la gestion des interruptions, pouvant conduire à l'enrichissement de bases de données existantes.

Enfin, le stagiaire développera puis entraînera un modèle de VAD sémantique capable de prédire non seulement la présence de parole, mais aussi la probabilité que l'utilisateur ait terminé de parler. Ce modèle sera intégré dans notre solution interne de Speech2Speech, et une évaluation comparative sera menée pour mesurer l'impact de cette nouvelle approche sur la précision, la réactivité et la fluidité du système.

Références scientifiques

[1] Graf, S., Herbig, T., Buck, M., & Schmidt, G. (2015). Features for voice activity detection: a comparative analysis. EURASIP Journal on Advances in Signal Processing, 2015(1), 91.

[2] Shi, M., Shu, Y., Zuo, L., Chen, Q., Zhang, S., Zhang, J., & Dai, L. R. (2023). Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction. In Proc. Interspeech 2023 (pp. 5047-5051).

[3] Chen, Q., Chen, Y., Chen, Y., Chen, M., Chen, Y., Deng, C., ... & Zhou, J. (2025). Minmo: A multimodal large language model for seamless voice interaction. arXiv preprint arXiv:2501.

[4] Défossez, A., Mazaré, L., Orsini, M., Royer, A., Pérez, P., Jégou, H., ... & Zeghidour, N. (2024). Moshi: a speech-text foundation model for real-time dialogue. arXiv preprint arXiv:2410.00037.

Votre profil

Ce stage s'adresse à un(e) étudiant(e) en Master ou école d'ingénieur, spécialisé(e) en data science, apprentissage automatique ou intelligence artificielle.

• Connaissances en intelligence artificielle, notamment en deep learning.
• Programmation en Python, PyTorch.
• Bonne maîtrise de l'environnement Linux et des outils de versioning (git), docker.
• Expérience en traitement de la parole / audio.

• Nous recherchons une personne curieuse, capable de travailler en autonomie tout en s'intégrant efficacement au sein d'une équipe pluridisciplinaire. La rigueur scientifique, l'esprit d'analyse et la capacité à relever des défis techniques complexes sont également essentiels pour réussir dans ce stage.

Le plus de l'offre

• Avantages de l'offre
  • Environnement convivial et stimulant.
  • Intégration au sein d'une équipe experte et bienveillante, favorisant l'apprentissage et l'innovation.
• Perspectives d'évolution

  Ce stage constitue une excellente porte d'entrée vers une carrière dans les domaines de l'intelligence artificielle et du traitement de la voix. Il peut ouvrir des opportunités dans des secteurs innovants liés à l'IA et à la technologie vocale.

• Promesse employeur

  Chez Orange, vous contribuez à façonner une technologie respectueuse des individus et de leur vie privée. Vous relevez les défis complexes de la tech responsable en innovant avec passion et rigueur, pour créer des solutions qui ont un impact positif et durable. Quand vous voulez explorer et transformer la tech avec conscience, Orange est là.

Entité

Vous intégrez une équipe composée de chercheurs, d'ingénieurs de développement d'applications Intelligence Artificielle (IA) et d'ingénieurs de recherche au sein de la direction Data & Intelligence Artificielle (Data&IA) de la division Innovation, et qui a pour mission :

• de consolider notre savoir-faire autour d'environnements IA de production,
• d'aider les directions métiers et les filiales d'Orange à développer l'usage de l'intelligence artificielle en mode cloud dans leurs métiers, lors de leur phase d'appropriation ou dans la phase de mise en œuvre d'applications requérant une expertise technique importante,
• d'accompagner les entités opérationnelles dans la mise en œuvre de ces solutions et leur adaptation opérationnelle aux problèmes métiers de l'opérateur.

Contrat

Stage

Durée : 6 mois

Date souhaitée de prise de poste : 01 févr. 2026

Niveau d'études préparé pendant le stage Indemnité brute selon école Bac+5 de 1621 € à 2162 € / mois