Détection explicable et généralisable de deepfakes audio pour des applications forensiques à l’aide de modèles de fondation

Eurecom; Valbonne; Remote; EUR 24.000 - 31.000; Vollzeit

Zusammenfassung

EURECOM, basé à Sophia Antipolis, propose un poste de doctorant au sein du Département Sécurité numérique pour travailler sur la détection de deepfakes audio et l’IA explicable dans le cadre du projet DEFORM. Le candidat développera des méthodes fondées sur des modèles auto-supervisés et multimodaux, avec adaptation et apprentissage few-shot.

Le poste est basé à EURECOM, en France, et implique des publications et des benchmarks internationaux.

Qualifikationen

• Master ou diplôme équivalent en informatique, génie électrique, traitement du signal, apprentissage automatique, IA, science des données ou domaine connexe.

Aufgaben

• Concevoir et tester des méthodes de détection de deepfakes audio robustes et interprétables pour des scénarios forensiques.
• Adapter et fine-tuner des modèles fondation pour la détection forensique de manipulations audio.
• Publier des résultats dans des conférences/revues internationales et contribuer aux livrables du projet DEFORM.

Kenntnisse

Python

PyTorch

CUDA

Linux

Anglais

Ausbildung

Master ou diplôme équivalent

Tools

PyTorch

TensorFlow

CUDA

Jobbeschreibung

Détection explicable et généralisable de deepfakes audio pour des applications forensiques à l’aide de modèles de fondation

Poste de Doctorant - Offre de thèse (Réf. : SN/MT/deform/062026)

EURECOM ouvre un poste de doctorat au sein du Département Sécurité numérique dans le domaine de la détection de deepfakes audio, de l’audio forensique et de l’intelligence artificielle explicable. Le poste s’inscrit dans le cadre du projet Horizon Europe DEFORM — Deepfake detection and Explainability using FOundation Representation Models — qui vise à développer des outils forensiques fiables, fondés sur l’IA, pour la détection, l’explication et l’interprétation de preuves audio, image et vidéo manipulées ou synthétiques.

La personne recrutée travaillera sur des méthodes explicables et généralisables pour détecter la parole synthétique ou manipulée dans des scénarios forensiques réalistes. Les détecteurs actuels de deepfakes audio obtiennent souvent de bonnes performances sur des benchmarks connus, mais restent vulnérables aux méthodes de synthèse vocale non vues, aux systèmes de conversion de voix, à la variabilité des codecs et des canaux, aux énoncés de courte durée, au bruit de fond et aux manipulations adversariales. En outre, la plupart des systèmes fonctionnent comme des boîtes noires et fournissent peu d’explications sur les raisons pour lesquelles un enregistrement est considéré comme authentique ou manipulé.

L’objectif de la thèse est de développer des méthodes de détection de deepfakes audio robustes, interprétables et adaptées aux exigences forensiques. La recherche portera sur l’utilisation de modèles audio auto-supervisés et de modèles de fondation, tels que WavLM, wav2vec 2.0, HuBERT, Whisper et des modèles multimodaux associés, combinés à des stratégies d’apprentissage few-shot, d’adaptation de domaine et d’augmentation de données, y compris adversariales. Un objectif central sera d’améliorer la généralisation à des attaques non vues et à des conditions acoustiques réalistes, tout en produisant des explications utiles et compréhensibles pour les praticiens forensiques.

Les travaux de thèse incluront les axes de recherche suivants :

• Développement de méthodes de détection de deepfakes audio robustes face à des techniques de synthèse vocale et de conversion de voix non vues ;
• Adaptation et fine-tuning de modèles audio de fondation pour la détection forensique de manipulations ;
• Stratégies d’apprentissage few-shot et à faible quantité de données pour une adaptation rapide à de nouvelles méthodes de génération de deepfakes ;
• Analyse de la robustesse dans des conditions réalistes, incluant la compression, les artefacts de transmission, le bruit de fond, la réverbération, les énoncés courts et les perturbations adversariales ;
• Méthodes d’IA explicable pour l’audio forensique, incluant la saillance temps-fréquence, la localisation d’artefacts, les explications de type SHAP et les raisonnements forensiques interprétables par l’humain ;
• Contribution à des benchmarks forensiques multimodaux et intégration possible dans le cadre plus large de DEFORM pour la détection de deepfakes audio, image et vidéo ;
• Évaluation des méthodes proposées au regard des exigences forensiques telles que la fiabilité, la traçabilité, l’interprétabilité et la reproductibilité.

La personne recrutée rejoindra les activités de recherche d’EURECOM en sécurité de la parole, sécurité biométrique, audio forensique et détection de deepfakes. Les travaux seront menés en étroite collaboration avec les partenaires académiques, industriels, forensiques et les autorités d’application de la loi impliqués dans le projet DEFORM. La personne doctorante contribuera à des publications scientifiques, à des benchmarks internationals, à des résultats de recherche ouverts et aux livrables du projet.

Prérequis

Niveau académique/diplôme :

• Master ou diplôme équivalent en informatique, génie électrique, traitement du signal, apprentissage automatique, intelligence artificielle, science des données ou domaine connexe.

Domaine/spécialité:

• Traitement de la parole, traitement du signal audio, apprentissage automatique, apprentissage profond, sécurité biométrique, forensique multimédia ou IA de confiance.
• Apprentissage profond pour l’audio et la parole ;
• Modèles auto-supervisés et modèles de fondation pour la parole/l’audio ;
• Détection de deepfakes audio, anti-spoofing ou vérification du locuteur ;
• IA explicable et interprétabilité des modèles ;
• Python et frameworks courants d’apprentissage automatique tels que PyTorch ;
• Une expérience avec des outils et jeux de données de parole/audio sera appréciée.
• Excellentes compétences en programmation Python, incluant une expérience avec les frameworks d’apprentissage profond et les outils de calcul pour DNN tels que PyTorch, TensorFlow, CUDA et les environnements d’entraînement sur GPU ;
• Bonne maîtrise des environnements de développement sous Linux ;
• Très bon niveau d’anglais écrit et oral.

Autres connaissances/spécialités :

• Solides capacités d’analyse et de résolution de problèmes ;
• Capacité à travailler de manière autonome et au sein d’une équipe de recherche internationale ;
• Intérêt pour la recherche appliquée ayant un impact sociétal, juridique et forensique ;
• Bonnes compétences en rédaction scientifique et en communication ;
• Une expérience préalable en traitement de la parole, tâches de type ASVspoof, détection de deepfakes audio ou IA explicable constituera un atout important.

Autres éléments importants:

• Le poste est basé à EURECOM, Sophia Antipolis, France.
• La thèse sera encadrée au sein du Département Sécurité numérique.
• La personne recrutée participera aux activités scientifiques du projet DEFORM et collaborera avec des partenaires européens.
• Le poste implique la publication dans des conférences et revues internationales de premier plan en traitement de la parole, forensique multimédia, biométrie et sécurité de l’IA.

Date d'embauche : Poste à pourvoir de suite
Type de contrat de travail : CDD Doctoral de droit privé