Stage PFE: Système dynamique d’évaluation de modèles LLM

Toloxa; Toulouse; Hybride; Confidentiel; Plein temps

Résumé du poste

Une start-up innovante à Toulouse recherche un stagiaire pour concevoir un système intelligent évaluant et sélectionnant des modèles de langage. Vous travaillerez dans un environnement scientifique de pointe avec des défis industriels réels. Attentes : maîtrise du Python et des bibliothèques IA, autonomie et rigueur. Avantages incluent le télétravail partiel et la possibilité de contribuer à des publications scientifiques.

Prestations

Impact direct sur le produit

Possibilité de contribution à des articles scientifiques

Télétravail partiel possible

Encadrement par une équipe pluridisciplinaire

Qualifications

• Maîtriser ou vouloir approfondir les bibliothèques IA/LLM.
• Comprendre le fonctionnement des LLM et du prompting.
• Être autonome, rigoureux, curieux et analytique.

Responsabilités

• Conception d’un système intelligent pour la sélection de modèles de langage.
• Création de datasets de validation pour chaque agent.
• Développement d’un banc d’évaluation multi-modèles.

Connaissances

Python

Bibliothèques IA/LLM

Fonctionnement des LLM

APIs multi-modèles

Architectures multi-agent

Formation

Dernière année d’école d'ingénieur ou Master 2

Description du poste

Toloxa est une jeune start-up toulousaine qui développe un assistant intelligent capable de diagnostiquer et réparer des appareils électroniques et mécaniques grâce à une architecture multi-agent avancée basée sur des modèles de langage. Notre vision : rendre la résolution de pannes aussi simple qu’une conversation, qu’il s’agisse d’un ordinateur, d’une machine industrielle ou d’un équipement grand public.

Nous nous inscrivons au cœur d’un écosystème scientifique d’excellence, en étant accompagnés par :

• ANITI (Artificial and Natural Intelligence Toulouse Institute), l’un des 3IA majeurs en France, spécialisé dans l’IA de confiance et appliquée aux secteurs industriels sensibles.
• L’IRT Saint-Exupéry, institut de recherche technologique de référence, avec qui nous co-construisons des briques technologiques robustes et transférables.
• Le programme FOR, un projet intégratif du cluster IA réunissant laboratoires académiques et grands industriels (Airbus, Thales, Safran, SNCF, etc.) pour accélérer le développement d’innovations IA concrètes et fiables.

Le stage proposé s’inscrit directement dans ce cadre : tu travailleras dans un environnement où se croisent recherche de pointe, défis industriels réels et développement produit. Tu contribueras à un sujet stratégique : la création d’un système dynamique capable d’évaluer, comparer et sélectionner automatiquement les meilleurs modèles de langage (LLM) pour chaque rôle au sein de notre architecture multi-agent.

Si tu veux combiner recherche appliquée, IA moderne, innovation concrète et impact produit tangible, tu vas adorer travailler avec nous.

Vos missions

Tu participeras à la conception d’un système intelligent capable de sélectionner automatiquement le meilleur modèle de langage pour chaque rôle dans notre plateforme multi-agent. Tes missions incluront notamment :

• Création de datasets de validation pour chaque agent (cas réels + données synthétiques).
• Définition de métriques d’évaluation : qualité, robustesse, latence, coût, stabilité inter-runs…
• Développement d’un banc d’évaluation multi-modèles via OpenRouter.
• Mise en place de stratégies de sélection (règles, scoring multi-critères, routage selon contraintes).
• Expérimentations sur le prompting, la spécialisation par rôle et les hyperparamètres.
• Conception de rapports et dashboards permettant de suivre les performances et décisions du système.
• Contribution potentielle à des publications scientifiques (workshops, conférences).

Vos compétences

Tu es potentiellement la bonne personne si tu maîtrises ou veux approfondir :

• Python et les bibliothèques IA/LLM (numpy, Hugging Face…).
• Fonctionnement des LLM, du prompting et de la génération.
• APIs multi-modèles (idéalement OpenRouter).
• Architectures multi-agent ou systèmes distribués.
• Bonus : RAG, lecture de publications, LaTeX, bonnes pratiques Git.
• Profil : dernière année d’école d’ingénieur ou Master 2, autonome, rigoureux, curieux, analytique.

Avantages

• Stage au cœur d’un écosystème exceptionnel : ANITI + IRT Saint-Exupéry + projet FOR.
• Impact direct : tes travaux seront intégrés dans le produit Toloxa.
• Possibilité de contribution à des articles scientifiques.
• Télétravail partiel possible.
• Liberté et responsabilité d’une start-up, soutenue par des institutions majeures.
• Encadrement par une équipe pluridisciplinaire mêlant recherche et ingénierie. Les 2 co-encadrants (un académique et l'autre industriel) sont tous les 2 docteurs en IA.
• Un environnement où tes idées comptent vraiment.

Ce stage est une occasion unique de travailler au croisement de la recherche en IA de confiance, des architectures multi-agent et du développement produit. Si tu veux relever des défis concrets et contribuer à une technologie innovante en collaboration avec ANITI, l’IRT Saint-Exupéry et tout le consortium du projet FOR, alors rejoins-nous.