Doctorant - Projet MAD (H/F)

UNIVERSITE COTE D AZUR; Nice; Sur place; EUR 22 000 - 29 000; Plein temps

Résumé du poste

Le Laboratoire Jean Alexandre Dieudonne de l'Université Côte d'Azur recherche un doctorant pour le projet MAD (alignement de grands modèles de langage). Vous explorerez des méthodes d’alignement à partir d’un nombre fini de données de préférence et étudierez les garanties théoriques associées.

Vous développerez des modèles mathématiques et des algorithmes, et conduirez des expériences numériques sur des modèles de langue, en utilisant des infrastructures HPC et des outils comme PyTorch et JAX.

Qualifications

• Master en mathématiques appliquées, avec goût marqué pour la théorie.
• Bonnes bases en optimisation (convexe et non convex) et en probabilités.
• Connaissances en statistique en grande dimension ou en théorie de l'apprentissage constitueront un atout.
• Familiarité avec l’apprentissage automatique; idéalement Transformer et modèles de langue.
• Maîtrise de Python et d’un cadre de différentiation automatique (PyTorch, JAX).
• Expérience du calcul sur GPU et bonnes pratiques de développement (git, tests, reproductibilité).
• Capacité à mener un travail de recherche autonome tout en s’intégrant dans une équipe.
• Bonne maîtrise de l’anglais scientifique, à l’écrit comme à l’oral.

Responsabilités

• Développer et analyser des modèles mathématiques de l’alignement, en mobilisant l’optimisation non lisse, l’analyse variationnelle et la statistique en grande dimension.
• Établir des résultats théoriques (bornes, convergence, conditions d’optimalité).
• Concevoir et implémenter des algorithmes; mener des expériences numériques sur des modèles de langue taille modérée, y compris sur des infrastructures HPC (GPU).
• Maintenir un code reproductible et documenté; contribuer à sa diffusion en accès ouvert; rédiger et soumettre des articles dans des conférences et revues internationales.
• Participer à la vie scientifique du laboratoire et interagir avec les membres de l’équipe et les collaborateurs du projet.

Connaissances

Optimisation

Analyse

Probabilités

Apprentissage automatique

Transformer

Python

PyTorch

JAX

GPU computing

Anglais scientifique

Formation

Master en mathématiques appliquées

Outils

PyTorch

JAX

Python

Git

Description du poste

Offre n° 212PRTQ
Doctorant - Projet MAD (H/F)

Nous recherchons notre futur/future Doctorant - Projet MADLe Laboratoire Jean Alexandre Dieudonne se situe parmi les meilleurs centres de recherche internationaux en mathematiques. Sa vocation est de développer les mathématiques fondamentales et appliquées sur un spectre large, leurs applications et interactions avec d'autres disciplines (physique, biologie, neurosciences, medecine, environnement, ...). En parallèle de ses activités en mathématiques, le LJAD développe également des recherches interdisciplinaires, notamment avec la mecanique des fluides, la biologie, la chimie, la physique, et il accueille pour cela des chercheurs et enseignants-chercheurs provenant de disciplines autres que les mathematiques.L'alignement des grands modèles de langage repose aujourd'hui sur des procédures largement empiriques, dont les fondements mathématiques restent mal compris. Cette thèse vise à en développer une analyse rigoureuse, à l'interface de l'optimisation non lisse, de la statistique en grande dimension et de l'apprentissage profond. On s'intéressera d'abord à l'effet des méthodes de réglage fin par adaptateurs de faible rang sur le comportement du modèle, en cherchant à quantifier le déplacement induit dans l'espace des distributions de sortie. On étudiera ensuite les garanties statistiques que l'on peut espérer d'un alignement construit à partir d'un nombre fini de données de préférence, ainsi que leur robustesse aux imperfections des annotations et aux décalages de distribution. Enfin, on cherchera à formuler l'alignement comme un problème d'optimisation structuré, de manière à en caractériser les solutions et à concevoir des algorithmes dont la convergence puisse être établie. Les développements théoriques seront confrontés à des expériences numériques sur des modèles de langue de taille modérée, afin d'évaluer leur pertinence pratique et d'orienter la conception de procédures d'alignement plus fiables.

Le ou la doctorant-e sera amené-e à

• développer et analyser des modèles mathématiques de l'alignement, en mobilisant les outils de l'optimisation non lisse, de l'analyse variationnelle et de la statistique en grande dimension
• établir des résultats théoriques (bornes, garanties de convergence, conditions d'optimalité)
• concevoir et implémenter des algorithmes, et mener des expériences numériques sur des modèles de langue de taille modérée, y compris sur infrastructures de calcul haute performance (GPU, mésocentres nationaux)
• maintenir un code reproductible et documenté, et contribuer à sa diffusion en accès ouvert- rédiger des articles scientifiques et les soumettre dans des conférences et revues internationales du domaine (NeurIPS, ICML, ICLR, JCLR, revues d'optimisation et de statistique) ;effectuer une veille bibliographique active sur un domaine en évolution rapide
• participer à la vie scientifique du laboratoire et interagir avec les autres membres de l'équipe et les collaborateurs du projet

Competences :-

• formation en mathématiques appliquées, niveau master, avec un goût marqué pour la théorie
• bonnes bases en optimisation (convexe et non convexe), analyse et probabilités
• des connaissances en statistique en grande dimension ou en théorie de l'apprentissage constitue un atout
• familiarité avec l'apprentissage automatique et, idéalement, avec les architectures de type Transformer et les modèles de langue
• maîtrise de la programmation scientifique en Python et d'un cadre de différentiation automatique (PyTorch, JAX)
• une expérience du calcul sur GPU et des bonnes pratiques de développement (git, tests, reproductibilité) est appréciée
• capacité à mener un travail de recherche de manière autonome tout en s'intégrer dans une équipe
• bonne maîtrise de l'anglais scientifique, à l'écrit comme à l'oral

Type de contrat CDD - 12 Mois
Contrat travail Durée du travail 35H/semaineTravail en journée
Salaire

• selon experiences

Profil souhaité

Expérience

• 5 An(s) Cette expérience est indispensable

Compétences

• Charger, décharger, manutentionner des produits
• Manipuler un engin de manutention ou de chantier
• Réaliser une opération de maintenance
• Sélectionner et positionner le matériel et les élingues, treuils, ... selon la nature de la cargaison

Savoir-être professionnels

• Organiser son travail selon les priorités et les objectifs
• Faire preuve de rigueur et de précision
• Etre ouvert aux changements

Informations complémentaires

• Secteur d'activité : Enseignement supérieur

Employeur

5000 à 9999 salariés

Université Côte d Azur (UCA) est un Établissement Public à Caractère Scientifique Culturel et Professionnel (EPSCP) dont les missions fondamentales sont la Formation des étudiants et des étudiantes et des professionnels et des professionnelles, une Recherche d excellence et une Innovation au service de tous et toutes. Cet établissement public expérimental (au sens de l ordonnance du 12 décembre 2018 dont les statuts ont été publiés le 27 juillet 2019) vise à développer le modèle du 21ème siècle