Ingénieur Évaluation LLM - IA & Sécurité

Inria; Talence; Hybrid; EUR 30,000 - 34,000; Full time

Benefits offered by this job

Restauration subventionnée

Transports publics remboursés

Congés annuels 7 semaines + RTT

Télétravail possible & aménagement du

Formation professionnelle

Équipements professionnels à dispo

Job summary

Inria Bordeaux centre recrute un ingénieur scientifique contractuel pour concevoir, structurer et implémenter des protocoles d’évaluation des modèles et systèmes basés sur des LLM, intégrés dans une plateforme d’évaluation de l’IA.

Le poste nécessite une expertise en évaluation de modèles IA, maîtrise des LLMs et de Python, avec des compétences CI/CD et documentation technique. Rémunération selon diplôme et expérience, poste à tempo plein sur site.

Qualifications

• Expérience en évaluation de modèles IA (métriques, protocoles expérimentaux) avec solide culture scientifique du domaine
• Maîtrise du fonctionnement des LLMs et de leur évaluation
• Très bonne maîtrise de Python et de l’écosystème ML
• Bonnes pratiques de développement: Git, CI/CD, documentation
• Capacité à rédiger une documentation technique claire et précise

Responsibilities

• Définir et implémenter des protocoles d’évaluation, des benchmarks et des métriques
• Analyser et interpréter les résultats d’évaluation pour en dégager des recommandations méthodologiques
• Participer à la définition de l’architecture logicielle de la plateforme
• Documenter la méthodologie et les résultats de l’évaluation

Skills

Expérience IA

LLMs

Python & ML

Git & CI/CD

Documentation technique

Education

Bac+5 ou équivalent

Tools

Docker

docker-compose

CI/CD

Inspect

Lighteval

Job description

Inria Bordeaux centre recrute un ingénieur scientifique contractuel pour concevoir, structurer et implémenter des protocoles d’évaluation des modèles et systèmes basés sur des LLM, intégrés dans une plateforme d’évaluation de l’IA.

Le poste nécessite une expertise en évaluation de modèles IA, maîtrise des LLMs et de Python, avec des compétences CI/CD et documentation technique. Rémunération selon diplôme et expérience, poste à tempo plein sur site.