Stage : Extension d’un système d’identification automatique de la langue au code-switching et à la détection d’accent

Inria Centre Inria de l'Université Grenoble Alpes; Grenoble; On-site; EUR 10,000 - 15,000; Full time

Job summary

Le stage se déroule au sein du pôle Parole & Audio à Grenoble, dans l’équipe identifiant les langues par modélisation phonotactique. Vous travaillerez sur l’accent et le code-switching, avec manipulation de données audio et entraînement de modèles.

Vous participerez à l’évaluation des systèmes et au fine-tuning de modèles multilingues récents tels que Wav2Vec2Phoneme ou ZIPA, en collaboration avec Clara Ponchard et la Mission Défense & Sécurité.

Qualifications

• Maîtrise solide de Python et des frameworks ML/DL.
• Bonne connaissance de PyTorch, PyTorch Lightning, Keras et Scikit-learn.
• Intérêt pour le traitement de la parole et la manipulation de données audio/texte.
• Intérêt pour les projets interdisciplinaires entre informatique et sciences humaines et sociales.
• Bonne maîtrise de l’anglais.

Responsibilities

• Prendre en main le système d’identification automatique de la langue et les outils associés.
• Réaliser un état de l’art des approches pour l’identification de l’accent et du code-switching.
• Proposer des améliorations pour accroître la robustesse des systèmes, notamment sur segments courts ou en conditions acoustiques dégradées.
• Préparer et exploiter des corpus de parole multilingues pour l’entraînement et l’évaluation.
• Mettre en œuvre et évaluer les approches identifiées en termes de précision et d’interprétabilité.
• Effectuer le fine-tuning de modèles récents de reconnaissance de phonèmes multilingues (ex. Wav2Vec2Phoneme, ZIPA).

Skills

Python

PyTorch

PyTorch Lightning

Keras

Scikit-learn

Transformers

Hugging Face

Anglais

Tools

Hugging Face

Job description

Context

Le ou la stagiaire sera accueilli(e) au sein de la Mission Défense & Sécurité, créée en 2020 afin de fédérer et de développer les différentes actions d’Inria répondant aux besoins numériques des forces armées et du ministère de l’Intérieur. Le stage se déroulera au sein du pôle de recherche Parole & Audio, sous la direction de Clara Ponchard.Il s’inscrit dans la continuité des travaux de l’équipe sur l’identification de la langue. L’identification automatique de la langue consiste à prédire la langue parlée dans un enregistrement de signal audio. Elle a de nombreuses applications, soit en tant que telle pour le routage d’appels téléphoniques, soit comme prétraitement avant une tâche de reconnaissance de la parole. Les systèmes actuels d’identification de la langue reposent généralement sur des représentations latentes de haute dimension, difficilement interprétables. Le score de reconnaissance fourni par ces systèmes constitue une décision globale qui ne permet pas d’identifier directement les indices linguistiques ayant conduit à la prédiction. Afin de répondre à cette limite, les travaux menés dans l’équipe ont conduit au développement d’un système d’identification de la langue fondé sur une approche phonotactique, présentant des performances à l’état de l’art et reposant sur une représentation interprétable des enregistrements (une séquence de phonèmes localisés temporellement) et un calcul du score simple reposant sur les fréquences de chaque n-gramme dans chaque langue1.L’objectif du stage est de poursuivre ces travaux en étendant ce système à deux nouvelles problématiques : l’identification automatique de l’accent et de l’alternance codique (code-switching), c’est‑à‑dire l’alternance de deux ou plusieurs langues au sein d’une même conversation ou d’un même énoncé.1Iradukunda, M., Duroselle, R., & Ponchard, C. (2026). Identification de la langue par modélisation phonotactique de séquences en API. Actes des Journées d’Études sur la Parole (JEP 2026), 665–674. https://doi.org/10.21437/JEP.2026-64

Assignment

Le stage comprendra une composante expérimentale importante, incluant la préparation et la manipulation de données audio, l’entraînement et le fine-tuning de modèles, ainsi que l’évaluation et l’analyse des systèmes développés.

Main activities

• Prendre en main le système existant d’identification automatique de la langue et les différents outils sur lesquels il repose ;
• Réaliser un état de l’art des approches existantes pour l’identification automatique de l’accent et de l’alternance codique (code-switching) ;
• Proposer des pistes d’amélioration des systèmes existants afin d’accroître leur robustesse, notamment lorsque les segments de parole sont de courte durée ou produits dans des conditions acoustiques dégradées ;
• Exploiter et préparer des corpus de parole multilingues de grande taille nécessaires à l’entraînement et à l’évaluation des différents systèmes ;
• Mettre en œuvre une sélection des approches identifiées et évaluer leurs performances, à la fois en termes de précision et d’interprétabilité ;
• Mettre en œuvre le fine-tuning de modèles récents de reconnaissance automatique de phonèmes multilingues, tels que Wav2Vec2Phoneme ou ZIPA.

Skills

• Solide maîtrise de Python ;
• Pratique de bibliothèques et frameworks d’apprentissage automatique et profond tels que PyTorch, PyTorch Lightning, Keras, Scikit-learn et Transformers (Hugging Face), ou d’outils équivalents ;
• Bonne connaissance des méthodes d’apprentissage automatique et d’apprentissage profond ;
• Intérêt pour le traitement de la parole et la manipulation de différents types de données (audio, texte, signaux) ;
• Intérêt pour les projets interdisciplinaires à l’interface entre informatique et sciences humaines et sociales ;
• Bonne maîtrise de l’anglais.
• Des connaissances en traitement automatique de la parole, en phonétique et/ou en traitement du signal constitueront un plus.