PhD: 3D-Aware Multi-Object Tracking

IDEMIA Public Security; Courbevoie; Sur place; EUR 55 000 - 85 000; Plein temps

Résumé du poste

IDEMIA Public Security recherche un chercheur en vision par ordinateur pour développer des algorithmes de suivi multi-objets en temps réel, basés sur des architectures MOT end-to-end et des approches 3D amodales, adaptés aux scénarios avec occlusions et aux prototypes industriels.

Le candidat idéal maîtrise le deep learning (Transformer, DETR), Python et PyTorch, avec une expérience en détection/suivi et en vision 3D. Collaboration avec Télécom Paris et les équipes IDEMIA est attendue.

Qualifications

• Solides connaissances en deep learning et architectures type Transformer (mécanismes d’attention, DETR).
• Expérience en vision par ordinateur: détection/suivi d’objets et/ou vision 3D.
• Maîtrise de Python et PyTorch.

Responsabilités

• Étudier et développer des algorithmes de suivi multi-objets (MOT) robustes et en temps réel.
• Explorer des représentations amodales et 3D pour améliorer le suivi sur dispositifs edge.
• Concevoir des méthodologies expérimentales et benchmarks et valider les approches MOT.

Connaissances

Deep learning

Transformer

Attention

DETR

Outils

Python

PyTorch

Description du poste

• Étudier et développer des algorithmes de suivi multi-objets (MOT) robustes, efficaces et fonctionnant en temps réel, avec un intérêt particulier pour les architectures MOT end-to-end, telles que MOTIP2, ainsi que pour le suivi de piétons dans des scénarios soumis à des occlusions importantes.
• Explorer des représentations amodales et sensibles à la 3D afin d’améliorer les performances du suivi, tout en prenant en compte les contraintes de calcul et de ressources propres aux dispositifs edge / périphériques.
• Concevoir des méthodologies expérimentales et des benchmarks permettant d’évaluer les approches proposées par rapport aux méthodes MOT de l’état de l’art et sur des jeux de données représentatifs de situations réelles.
• Contribuer à la conception, à l’implémentation et à la validation de prototypes, avec un premier focus sur le suivi monoculaire et des extensions futures vers le suivi multi-caméras.
• Assurer une veille scientifique sur les avancées en vision par ordinateur, suivi multi-objets, perception amodale et compréhension 3D des scènes, afin d’identifier les innovations pertinentes et de les transférer vers des applications industrielles.
• Communiquer les résultats de recherche auprès des communautés de recherche et d’ingénierie d’IDEMIA et de Télécom Paris, et contribuer à la rédaction de publications scientifiques et d’articles soumis à des conférences et journaux de premier plan en vision par ordinateur et apprentissage automatique.

Description du poste :

• Étudier et développer des algorithmes de suivi multi-objets (MOT) robustes, efficaces et fonctionnant en temps réel, avec un intérêt particulier pour les architectures MOT end-to-end, telles que MOTIP2, ainsi que pour le suivi de piétons dans des scénarios soumis à des occlusions importantes.
• Explorer des représentations amodales et sensibles à la 3D afin d’améliorer les performances du suivi, tout en prenant en compte les contraintes de calcul et de ressources propres aux dispositifs edge / périphériques.
• Concevoir des méthodologies expérimentales et des benchmarks permettant d’évaluer les approches proposées par rapport aux méthodes MOT de l’état de l’art et sur des jeux de données représentatifs de situations réelles.
• Contribuer à la conception, à l’implémentation et à la validation de prototypes, avec un premier focus sur le suivi monoculaire et des extensions futures vers le suivi multi-caméras.
• Assurer une veille scientifique sur les avancées en vision par ordinateur, suivi multi-objets, perception amodale et compréhension 3D des scènes, afin d’identifier les innovations pertinentes et de les transférer vers des applications industrielles.
• Communiquer les résultats de recherche auprès des communautés de recherche et d’ingénierie d’IDEMIA et de Télécom Paris, et contribuer à la rédaction de publications scientifiques et d’articles soumis à des conférences et journaux de premier plan en vision par ordinateur et apprentissage automatique.

Description du profil :

• Solides connaissances en deep learning, notamment des architectures de type Transformer (mécanismes d’attention, modèles basés sur des requêtes de type DETR).
• Expérience en vision par ordinateur, notamment dans une ou plusieurs des tâches suivantes : détection d’objets, suivi d’objets et/ou vision 3D et géométrique (estimation de profondeur, représentations neuronales de scènes).
• Maîtrise de Python et PyTorch.
• Une connaissance des modèles vision-langage / modèles fondamentaux (foundation models), tels que les modèles contrastifs de type CLIP ou les détecteurs à vocabulaire ouvert (open-vocabulary detectors), constitue un plus.