Research Engineer in Embodied Conversational Agent

INRIA; Paris; Hybride; EUR 40 000 - 55 000; Plein temps

Résumé du poste

Une institution de recherche en informatique recherche un candidat pour développer des modèles de génération de comportements non verbaux pour un agent conversationnel. Le candidat devra contribuer à la génération de gestes synchronisés avec la parole et collaborer avec l'équipe Multispeech. Des compétences solides en programmation Python et en Deep Learning sont essentielles. Ce poste offre plusieurs avantages enrichissants et des possibilités de télétravail.

Prestations

Restauration subventionnée

Transports publics remboursés

7 semaines de congés annuels + 10 jours de RTT

Télétravail possible

Équipements professionnels fournis

Accès à la formation professionnelle

Qualifications

• Compétences en programmation Python requises.
• Compétences en C# seraient un plus.
• Expérience en Deep Learning nécessaire.
• Aptitude à conduire des recherches scientifiques appréciée.
• Expérience en animation 3D appréciée.

Responsabilités

• Constitution d'un dataset de gestes et audios/vidéos naturels.
• Entraînement d'un modèle de retrieval.
• Intégration du modèle de génération en temps réel.
• Modification du système de dialogue actuel.

Connaissances

Programmation Python

Programmation en C#

Entraînement de modèles de Deep Learning

Modèle de retrieval / RAG

Recherche scientifique

Animation 3D

Outils

Unity

UnrealEngine

Blender

Description du poste

Contexte et atouts du poste

L’objectif est de continuer le développement d’un modèle de génération de comportements non verbaux (gestes, expressions faciales, sourires, hochements de têtes, etc.) pour l’agent conversationnel développé par l’équipe. Plus précisément, le poste va se concentrer principalement sur un modèle de génération de “co-speech gestures”, c'est‑à‑dire des gestes générés à partir des informations et structures linguistiques y compris sémantiques et prosodiques, entre autres, pour des tours de parole de l’agent.

Mission confiée

Missions

Avec l'aide du chef de projet, la personne recrutée sera amenée à améliorer le module de génération de comportements non verbaux actuellement présent dans l’agent, pour une génération plus réaliste, plus naturelle et proche des humains.

Collaboration

Une collaboration avec l’équipe Multispeech, qui travaille sur un projet très proche, est en train de se concrétiser pour que nos efforts de recherche avancent dans une direction commune.

La personne recrutée sera principalement en lien avec l’équipe Multispeech pour un effort joint sur la génération de “co-speech gesture”. L’équipe Multispeech ayant déjà développé le modèle “STARGATE” de génération de co-speech gesture, la collaboration se fera dans le sens d’une adaptation, extension et amélioration de ce modèle.

Principales activités

• Constitution ou recherche et sélection d’un dataset de gestes et audios / vidéos naturels
• Entraînement d’un modèle de retrieval pour renforcer l’ancrage linguistique des modèles de génération de “co-speech gesture” actuels.
• Intégrer le modèle de retrieval et génération dans un modèle SOTA de génération de co-speech gestures en temps réel (STARGATE, ou autre).
• Effectuer les modifications nécessaires au système de dialogue actuel pour intégrer le nouveau modèle de génération de co-speech gesture en temps réel.

Activités complémentaires

• Rédaction de rapports et, éventuellement, un article scientifique décrivant les contributions effectuées pour le domaine du co-speech gesture generation.
• Conduire une human evaluation du nouveau modèle de génération de co-speech gesture pour comparer le nouveau modèle aux modèles SOTA, y compris (STARGATE, SemanticGesticulator, etc.)
• Rédiger la documentation du module de génération de comportement non‑verbaux de notre agent conversationnel.

Compétences techniques et niveau requis

• Fortes compétences en programmation Python.
• Compétences de programmation en C# seraient un plus.
• Compétences en entraînement de modèles de Deep Learning.
• Expérience en modèle de retrieval / RAG.
• Expérience dans la conduite de recherche scientifique (recherche bibliographique, contribution au SOTA, benchmarking, etc.).
• Expérience de l’utilisation d’animation 3D serait un plus : Unity, UnrealEngine, Blender, etc.

Langues

• Anglais (niveau professionnel requis)
• Français (plus, mais pas obligatoire)

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Sécurité sociale