Intern Multi-Camera Video Capture For Real-Time 3Dgs Avatars H/F

InterDigital; Cesson-Sévigné; On-site; EUR 10,000 - 17,000; Full time

Job summary

InterDigital Immersive Video Lab, au cœur du laboratoire Avatar, propose un stage visant à transformer une configuration photographique de 14 appareils photo reflex en un système de capture vidéo multivue pour l'avatar. L'objectif est de développer une chaîne d'acquisition synchronisée, calibrage caméra et outils de pilotage des sessions d'enregistrement.

Le stage couvre l'alignement temporel, l'exposition cohérente et la qualité d'image entre points de vue, puis la constitution d'un jeu de

Qualifications

• Master en informatique ou domaine connexe.
• Bonnes connaissances en programmation et interopérabilité des formats.
• Notions en vision par ordinateur 3D / graphisme / rendu souhaitables.
• Expérience avec Maya/Houdini/Blender appréciée.

Responsibilities

• État de l'art des formats de représentation d'avatars (ARF, DNA, USD, VRM, FBX, etc.).
• Développement d'un prototype de plateforme d'interopérabilité.
• Démonstrateur permettant d'évaluer l'interopérabilité d'ARF.

Skills

Master level programming

Education

Master

Job description

Summary

The InterDigital Immersive Video Lab is dedicated to advancing avatar-based communication. In this context, this internship aims to transform an existing photography setup comprising 14 DSLR cameras into a multi-view video capture rig. The primary objective is to develop a complete acquisition pipeline for synchronized recordings of facial expressions and head movements. The work will begin by assessing the cameras' video capabilities, synchronization options, and data transfer constraints. It will include camera calibration, lighting configuration, and the development of tools to control and monitor recording sessions. Particular attention will be given to temporal alignment, consistent exposure, and image quality across viewpoints. A facial capture protocol will define the expressions, speech sequences, and head movements required for avatar reconstruction and animation. The second objective is to produce a structured multi-view video dataset for real-time avatar calls using 3D Gaussian Splatting. The dataset will include recordings from multiple participants, calibration data, capture metadata, and predefined training and evaluation sequences. The expected outcomes are an operational video capture rig, a documented acquisition workflow, and a quality-checked dataset collected with participant consent.

Responsibilities

• State-of-art on avatar representation formats (ARF, DNA, USD, VRM, FBX etc.)
• Development of a prototype of interop platform
• Demonstrator to assess the ARF interoperability

Résumé

L'Immersive Video Lab d'InterDigital se consacre au développement de la communication basée sur les avatars. Dans ce contexte, ce stage vise à transformer un dispositif photographique existant, composé de 14 appareils photo reflex numériques, en un système de capture vidéo multivue. L'objectif principal est de développer une chaîne d'acquisition complète permettant des enregistrements synchronisés des expressions faciales et des mouvements de la tête. Les travaux débuteront par l'évaluation des capacités vidéo des appareils, des options de synchronisation et des contraintes de transfert des données. Ils comprendront l'étalonnage des caméras, la configuration de l'éclairage et le développement d'outils de pilotage et de suivi des sessions d'enregistrement. Une attention particulière sera portée à l'alignement temporel, à la cohérence de l'exposition et à la qualité d'image d'un point de vue à l'autre. Un protocole de capture faciale définira les expressions, séquences de parole et mouvements de tête nécessaires à la reconstruction et à l'animation des avatars. Le second objectif est de constituer un jeu de données vidéo multivue structuré pour des appels avec avatars en temps réel reposant sur le 3D Gaussian Splatting. Ce jeu de données comprendra des enregistrements de plusieurs participants, des données d'étalonnage, des métadonnées de capture ainsi que des séquences prédéfinies d'entraînement et d'évaluation. Les résultats attendus sont un système de capture vidéo opérationnel, une procédure d'acquisition documentée et un jeu de données dont la qualité a été contrôlée, recueilli avec le consentement des participants.

Missions

• État de l'art des formats de représentation d'avatars (ARF, DNA, USD, VRM, FBX, etc.)
• Développement d'un prototype de plateforme d'interopérabilité
• Démonstrateur permettant d'évaluer l'interopérabilité d'ARF

Qualifications

• Master - High level in programming, code architecture and format interoperability. Some knowledge in 3D computer vision, computer graphics, 3D modeling, rendering or Maya/Houdini/Blender would be appreciated

Profil recherché

Master. Très bon niveau en programmation, en architecture logicielle et en interopérabilité des formats. Des connaissances en vision par ordinateur 3D, informatique graphique, modélisation 3D, rendu ou Maya/Houdini/Blender seraient appréciées

undefined