Séparation de sources audio et deep learning F/H

Orange SA; Cesson-Sévigné; Sur place; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une entreprise technologique recherche un stagiaire pour adapter des approches génératives à la séparation de sources multicanale. Les candidats doivent être en formation Bac+5, maîtriser le traitement du signal audio et avoir des compétences en Python et deep learning. Vous travaillerez sur des systèmes innovants pour améliorer les communications audio en supprimant les artefacts. Ce stage est une opportunité d'appliquer vos compétences techniques dans un environnement stimulant.

Responsabilités

• Adapter des approches génératives à la séparation de sources multicanale.
• Travailler sur des systèmes de communication pour supprimer les artefacts sonores.
• Recherche de métriques pertinentes pour entraîner un réseau génératif.

Connaissances

Traitement du signal audio

Méthodes d'apprentissage statistique

Réseaux de neurones (deep learning)

Langage Python

Programmation de réseaux de neurones sous Python/PyTorch

Maîtrise de l'anglais

Formation

Formation de niveau Bac+5 dans le domaine du traitement du signal et/ou de l’audio

Description du poste

about the role

Les communications mains-libres, si elles offrent l’avantage de l’ergonomie en libérant les mains de l’utilisateur, souffrent d’artefacts liés à l’éloignement du locuteur du système de prise de son: bruit ambiant, réverbération, écho, interférences sonores. Aussi, tout système de communication se doit d’instancier des modules qui visent à supprimer, tout au moins fortement atténuer, ces artefacts: annulation d’écho, réduction de bruit, ... Parmi ces modules, la séparation de sources s’intéresse à supprimer les interférences, généralement la voix d’autres interlocuteurs, en isolant chacune des sources présentes dans la scène sonore.

Depuis une 10aine d’années, l’IA avec les réseaux de neurones profonds ou DNN a bousculé le paysage des technologies à même de traiter ces perturbations, en repoussant les limites en termes de performances. Et tout dernièrement, les approches génératives, historiquement associées aux modèles de langage naturel, ont fait irruption dans ce paysage. Ce type de réseau, comme les GANs (Generative Adversorial Networks) ou les modèles de diffusion, montrent des performances encore accrues par rapport à leurs homologues entraînés de manière discriminative: suppression totale des artefacts, tout en garantissant une moindre distorsion.

L’objectif du stage est d’adapter ces approches génératives à la séparation de sources multicanale. Plus précisément, on s’intéressera à l’application d’approches de type GAN pour extraire une source d’intérêt identifiée par sa position, position que l’on supposera connue. On pourra notamment s’inspirer d’architecture de type auto-encodeur utilisées en codage neuronal comme les U-net par exemple, en intégrant des couches de séparation de sources sous la forme de filtrage spatial neuronal, comme dans.

Au cours du stage, l’accent sera mis sur la recherche de métriques pertinentes pour entraîner un réseau génératif de séparation. La question des métriques est primordiale car les modèles génératifs peuvent synthétiser deux signaux proches d’un point de vue perceptif mais dont les formes d’onde peuvent différer significativement, ce qui rend problématique la comparaison des signaux prédits avec la vérité terrain.

about you

Formation souhaitée

• Vous préparez une formation de niveau Bac+5 dans le domaine du traitement du signal et/ou de l’audio

Pré-requis techniques :

• Maîtrise du traitement du signal audio
• Connaissances en méthodes d’apprentissage statistique et réseaux de neurones (deep learning)
• Maîtrise du langage Python et connaissances en programmation de réseaux de neurones sous Python/PyTorch

Aptitudes personnelles :

• Forte appétence pour le traitement du signal
• Vous maîtrisez l’anglais