Advanced Research Position – Intelligence artificielle pour les mathématiques formelles : qualité, évaluation et traduction des preuves générées par les modèles de langage

Inria Paris

Paris

On-site

EUR 85,000 - 110,000

Full time

14 days+

A complete application in a minute

Tailored resume and cover letter, ready to send.

Get past ATS filters

Job summary

Inria Paris recherche une personne pour diriger l'axe IA du projet BELLE, superviser le post-doctorant et les stagiaires, et coordonner les activités en interface IA, méthodes formelles et mathématiques.

Le poste implique la conception du jeu de données BELLE-Prefs, l'évaluation de la qualité du code Lean et la diffusion des artefacts, avec collaboration internationale et interaction avec Mathlib et Rocq.

Qualifications

  • Expérience confirmée en recherche en apprentissage automatique.
  • Culture mathématique solide et familiarité avec les méthodes formelles.
  • Expérience en supervision d'équipes et de projets de recherche.

Responsibilities

  • Définir la feuille de route scientifique de l'axe IA du projet BELLE et encadrer le personnel.
  • Concevoir et superviser la construction des jeux de données BELLE-Prefs et les protocoles d'annotation.
  • Développer et calibrer les méthodes d'évaluation de la qualité du code formel et réaliser des analyses expérimentales.

Skills

Recherche en apprentissage automatique
Culture mathématique
Gestion de projet
Encadrement d'équipe
Communication scientifique

Education

Doctorat en IA ou mathématiques

Tools

Lean/Mathlib
Rocq

Job description

Context

Les modèles de langage de dernière génération (Frontier LLMs) produisent désormais des preuves Lean correctes à un niveau de compétition, voire de recherche. Deux verrous majeurs subsistent toutefois pour que ces capacités profitent réellement aux communautés de la formalisation et des mathématiques : la qualité du code produit, souvent très en deçà des standards de Mathlib et de la lisibilité attendue par les mathématiciens, et le cloisonnement des bibliothèques formelles entre assistants à la preuve (Mathlib dans Lean, Mathematical Components dans Rocq), voire entre versions successives d'un même assistant.

Le poste s'inscrit dans le cadre du projet BELLE, soutenu par le AI for Math Fund (Renaissance Philanthropy) au sein de l'équipe Argo (Inria, Paris) avec ses partenaires : - BELLE est un projet ouvert et collaboratif qui vise à mesurer et à optimiser la qualité du code Lean généré par IA, au-delà de la seule correction. Il prévoit la définition d'une suite de métriques de qualité validée par la communauté Mathlib, la constitution d'un jeu de données de préférences annoté par des experts (*BELLE-Prefs*), un pipeline d'évaluation open source et un agent d'audit de qualité, puis le fine-tuning de modèles par apprentissage par renforcement (GRPO) à partir des métriques calibrées. Comment obtenir d'un modèle de langage du code formel qui soit non seulement correct, mais aussi concis, lisible, réutilisable et conforme aux usages des bibliothèques cibles. Les métriques et les données de préférence produites par BELLE fournissent précisément les signaux d'évaluation et de récompense dont les modèles de back-translation ont besoin. L'Advanced Research Position est créée pour prendre en charge l'axe intelligence artificielle de cette direction de recherche. Le poste offre un environnement scientifique rare, à l'interface de l'apprentissage profond, des assistants à la preuve et des mathématiques.

Assignment
Missions
  • La personne recrutée assurera la responsabilité scientifique et technique de l'axe « modèles de langage » du projet BELLE en lien avec le responsable scientifique. Forte d'une expérience confirmée en recherche en apprentissage automatique et d'une solide culture mathématique, elle conduira les travaux de recherche, encadrera les personnels non permanents recrutés sur ces thématiques et portera le dialogue avec les communautés de la formalisation.
  • Elle pilotera la conception du jeu de données de préférences BELLE-Prefs : sélection de plus de 200 tâches de formalisation sur trois niveaux de difficulté (licence, compétition, recherche), génération de solutions candidates à partir de modèles frontière, de stratégies de prompting, d'outils de recherche de preuve et de l'historique des pull requests de Mathlib, et protocole d'annotation experte selon deux perspectives complémentaires (standards de contribution à Mathlib d'une part, lisibilité et clarté mathématique d'autre part). Elle dirigera la calibration des métriques automatiques (analyse statique, profilage, LLM-as-a-judge) sur les jugements humains, puis l'étude de fine-tuning par GRPO utilisant ces métriques comme signal de récompense, incluant la comparaison entre modèle de base, modèle guidé par le guide de bonnes pratiques (agent.md) et modèle fine-tuné, ainsi que l'analyse de la synergie entre qualité et correction.
  • Elle veillera à la mutualisation de l'infrastructure d'entraînement et d'évaluation (Jean Zay), à la reproductibilité des expériences et à la diffusion ouverte de l'ensemble des artefacts produits (jeux de données, pipelines, modèles, baselines).
Encadrement et collaboration

La personne recrutée encadrera au quotidien le post-doctorant du projet BELLE ainsi que les stagiaires. Elle animera les réunions de coordination hebdomadaires et le dépôt de projet partagé, et associera les doctorants des équipes partenaires aux discussions afin d'entretenir un environnement académique riche et créatif.

Elle évoluera dans un environnement fortement collaboratif, à l'interface entre intelligence artificielle, méthodes formelles et mathématiques. Elle travaillera en étroite interaction avec les équipes PiCube, l'ENS, les partenaires académiques du projet BELLE (chercheurs en méthodes formelles, mathématicien professionnel) et les communautés Lean/Mathlib et Rocq. Ces collaborations donneront lieu à des échanges scientifiques réguliers et à des interactions avec les autres initiatives soutenues par le AI for Math Fund (Mathlib Initiative, Formal Frontier, LeanEval).

Main activities
Principales activités
  1. Définir avec les partenaires la feuille de route scientifique de l'axe IA du projet BELLE et des travaux de traduction entre assistants à la preuve, en assurer le suivi (jalons, livrables, ressources de calcul) et rendre compte de l'avancement aux partenaires et au bailleur.
  2. Concevoir et superviser la construction des jeux de données : tâches de formalisation et solutions candidates pour BELLE-Prefs ; corpus de preuves bas niveau / haut niveau issus de la compilation de Mathlib, de Mathematical Components et de l'intégration continue de Rocq ; protocoles d'annotation experte, étude pilote et mesure de l'accord inter-annotateurs.
  3. Développer et calibrer les méthodes d'évaluation de la qualité du code formel : métriques dures (métaprogrammation Lean 4, profilage de l'élaboration), métriques douces (LLM-as-a-judge guidé par agent.md), agrégation en profils de qualité interprétables,
Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Lead AI Researcher: LLMs for Formal Math (BELLE)
Lead AI Researcher: LLMs for Formal Math (BELLE)

Inria Paris • Paris

On-site
EUR 85,000 - 110,000
Développement de solutions avancées d'intégration de connaissances a priori dans des modèles VLA pour la robotique
Développement de solutions avancées d'intégration de connaissances a priori dans des modèles VLA pour la robotique

Inria Sophia Antipolis • Valbonne

On-site
EUR 45,000 - 65,000
Research Engineer in Artificial Intelligence for Experimentation on the Combination of AI and Formal Methods
Research Engineer in Artificial Intelligence for Experimentation on the Combination of AI and Formal Methods

Inria Rennes • Rennes

On-site
EUR 42,000 - 58,000
Ingénieur - Ingénieure R&D / Modèles vision-langage pour la surveillance
Ingénieur - Ingénieure R&D / Modèles vision-langage pour la surveillance

Inria Villeurbanne • Villeurbanne

On-site
EUR 60,000 - 85,000
AI Engineer Mistral / Prisme.AI - Freelance
AI Engineer Mistral / Prisme.AI - Freelance

Recruteur confidentiel • Paris

On-site
EUR 96,000 - 126,000
Ingénieur de recherche en IA cognitive et LLM-LLM SECRET
Ingénieur de recherche en IA cognitive et LLM-LLM SECRET

Inria Paris • Paris

On-site
EUR 65,000 - 90,000
Expert en ingénierie des systèmes d’information H/F
Expert en ingénierie des systèmes d’information H/F

Inria Le Chesnay • Le Chesnay

On-site
EUR 60,000 - 85,000
Ingénieur de recherche en IA cognitive et LLM-LLM SECRET
Ingénieur de recherche en IA cognitive et LLM-LLM SECRET

Inria • Paris

Hybrid
EUR 70,000 - 100,000
Restauration subventionnée
Transports publics remboursés
Congés annuels et RTT
+3
Post-Doctorant F/H Expérience utilisateur·ice pour les preuves formelles en pratique.
Post-Doctorant F/H Expérience utilisateur·ice pour les preuves formelles en pratique.

Inria • Lyon

On-site
EUR 40,000 - 50,000
Congés annuels 7 semaines + RTT 10j
Télétravail possible 90 jours/an
Transports publics remboursés
+1
Ingénieur Développeur IA Senior
Ingénieur Développeur IA Senior

ECCO Technologies • Paris

On-site
EUR 90,000 - 130,000