Stage IA – Évaluation & Monitoring d’Agents en Production

Renault Group; France; Remote; EUR 10,000 - 15,000; Full time

Job summary

Renault Group recherche un stagiaire de fin d'études pour structurer et industrialiser les processus d'évaluation des agents IA, depuis leur développement jusqu'à leur monitoring en production.

Vous contribuerez à la mise en place d'un cadre commun d’évaluation, à l’agrégation des métriques et à la conception d'une plateforme de monitoring. Maîtrise du Python, NLP et anglais professionnel exigée.

Qualifications

• Étudiant(e) en dernière année d'école d'ingénieur ou Master 2 avec spécialisation AI, ML, NLP, Data Science ou Informatique.
• Connaissances des technologies d'IA générative : LLM, NLP, RAG, agents IA et techniques d'évaluation associées.
• Solides compétences en Python et en développement de solutions Data & IA.
• Connaissances des frameworks de création d'agents en Python (ADK, Langgraph...).
• Intérêt pour les problématiques d'évaluation, de qualité et d'industrialisation des systèmes d'IA.
• Bon niveau d'anglais professionnel.

Responsibilities

• * Cartographier et analyser les processus d'évaluation existants au sein des différentes équipes.
• * Agréger, comparer et synthétiser les méthodes, outils et bonnes pratiques déjà en place.
• * Concevoir et contribuer à l'implémentation d'une plateforme commune d'évaluation et de monitoring des agents IA.
• * Travailler sur les jeux de données d'évaluation et explorer les mécanismes de mise à jour automatique ou semi-automatique.
• * Collecter, analyser et comparer les métriques utilisées pour mesurer qualité, robustesse et performance des agents IA.
• * Participer à la définition de recommandations et de standards d'évaluation pour les futurs développements.
• * Réaliser une veille sur les frameworks et méthodologies d'évaluation des systèmes d'IA générative.

Skills

Python

Data & IA

NLP

IA générative

Anglais professionnel

Education

Master 2 IA / Data Science

École d'ingénieur ou équivalent

Tools

ADK

Langgraph

Vertex AI Gen AI eval. service

Ragas

Job description

Renault Group recherche un stagiaire de fin d'études pour structurer et industrialiser les processus d'évaluation des agents IA, depuis leur développement jusqu'à leur monitoring en production.

Vous contribuerez à la mise en place d'un cadre commun d’évaluation, à l’agrégation des métriques et à la conception d'une plateforme de monitoring. Maîtrise du Python, NLP et anglais professionnel exigée.