Détection d'anomalies dans les vidéos adaptative et explicable / / Adaptive and explainable Vid[...]

CEA Sorbonne Université Laboratoire Vision et Apprentissage pour l’analyse de scènes; Saclay; Sur place; EUR 20 000 - 40 000; Plein temps

Résumé du poste

Un laboratoire de recherche en vision et intelligence artificielle à Saclay recrute un doctorant pour développer des méthodes de détection d'anomalies vidéo adaptables. Le candidat idéal doit avoir une formation en informatique, en télécommunications ou en électronique et posséder des connaissances en apprentissage par transfert. Le poste implique d'améliorer la robustesse des modèles face aux variations de domaine et d'explorer l'adaptation multimodale à l'aide de règles en langage naturel.

Qualifications

• Connaissance en détection d'anomalies vidéo.
• Compétences en apprentissage par transfert et apprentissage continu.
• Capacité à travailler avec des systèmes multimodaux.

Responsabilités

• Développer des méthodes adaptables pour la détection d’anomalies vidéo.
• Améliorer la robustesse des modèles face aux écarts de domaine.
• Faciliter l'adaptation du modèle avec des règles en langage naturel.

Formation

Doctorat en Informatique, Télécommunications ou Electronique

Description du poste

Topic description

La détection d'anomalies dans les vidéos (VAD) vise à identifier automatiquement les événements inhabituels dans des séquences vidéo qui s’écartent des comportements normaux. Les méthodes existantes reposent souvent sur l'apprentissage One-Class ou faiblement supervisé : le premier n'utilise que des données normales pour l'entraînement, tandis que le second s'appuie sur des labels au niveau de la vidéo. Les récents progrès des modèles Vision-Langage (VLM) et des grands modèles de langage (LLM) ont permis d’améliorer à la fois les performances et l’explicabilité des systèmes VAD. Malgré des résultats prometteurs sur des jeux de données publics, plusieurs défis subsistent. La plupart des méthodes sont limitées à un seul domaine, ce qui entraîne une baisse de performance lorsqu'elles sont appliquées à de nouveaux jeux de données avec des définitions d’anomalies différentes. De plus, elles supposent que toutes les données d'entraînement sont disponibles dès le départ, ce qui est peu réaliste dans des contextes d’utilisation réels où les modèles doivent s’adapter continuellement à de nouvelles données. Peu d’approches explorent l’adaptation multimodale en utilisant des règles en langage naturel pour définir les événements normaux ou anormaux. Or, cela permettrait une mise à jour plus intuitive et flexible des systèmes VAD sans nécessiter de nouvelles vidéos.

Ce sujet de thèse a pour objectif de développer des méthodes de détection d’anomalies vidéo adaptables, capables de traiter de nouveaux domaines ou types d’anomalies en s’appuyant sur peu d’exemples vidéo et / ou des règles textuelles.

Les axes de recherche principaux seront les suivants :

• Adaptation interdomaines en VAD : améliorer la robustesse face aux écarts de domaine via une adaptation Few-Shot ;
• Apprentissage continu en VAD : enrichir le modèle en continu pour traiter de nouveaux types d’anomalies ;
• Apprentissage multimodal en Few-Shot : faciliter l’adaptation du modèle à l’aide de règles en langage naturel.

The main lines of research will be the following :

• Cross-Domain Adaptation in VAD : improving robustness against domain gaps through Few-Shot adaptation;
• Continual Learning in VAD : continually enriching the model to deal with new types of anomalies;
• Multimodal Few-Shot Learning : facilitating the model adaptation process through rules in natural language.

Pôle fr: Direction de la Recherche Technologique

Pôle en: Technological Research

Département: Département Intelligence Ambiante et Systèmes Interactifs (LIST)

Service: Service Intelligence Artificielle pour le Langage et la Vision

Laboratoire: Laboratoire Vision et Apprentissage pour l’analyse de scènes

Date de début souhaitée : 01-05-

Ecole doctorale: Informatique, Télécommunications et Electronique (EDITE)

Directeur de thèse: AUDIGIER Romaric

Organisme: CEA

Laboratoire: DRT / DIASI / / LVA

URL: Funding category

Public / private mixed funding

Funding further details