LLM Monitoring Scientist - Remote-Eligible

PEReN

Paris

Hybrid

EUR 60,000 - 90,000

Full time

11 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

PEReN recherche un développeur/développeuse pour enrichir et déployer des méthodes de surveillance des modèles d’IA générative. Vous intégrerez une équipe data science et collaborerez avec Inria et CNRS dans le cadre du projet ANR PACMAM.

Le poste demande une autonomie avérée, une pratique avancée de Python, des compétences en CI/CD, et une expérience avec des API LLM (OpenRouter). Télétravail possible avec présence régulière à Paris.

Qualifications

  • Connaissance de l’écosystème Python et écriture de tests unitaires.
  • Maîtrise de Git, CI/CD et revue de code.
  • Bonne compréhension du fonctionnement des modèles de langage (LLM).
  • Expérience en évaluation de LLM via API (OpenRouter ou équivalent).
  • Connaissances en analyse de données et développement logiciel en autonomie.

Responsibilities

  • Identifier dans la littérature les méthodes pertinentes et évaluer leur performance et complémentarité.
  • Tester et valider ces méthodes.
  • Intégrer les solutions retenues à TrackLLM pour une utilisation en conditions réelles.
  • Analyser les résultats du monitoring et ajuster si nécessaire.
  • Assurer le suivi des usages de TrackLLM et répondre aux besoins des usagers.

Skills

Python
Tests unitaires
CI/CD
Git
LLM
OpenRouter

Education

Licence ou équivalent universitaire

Tools

OpenRouter

Job description

PEReN recherche un développeur/développeuse pour enrichir et déployer des méthodes de surveillance des modèles d’IA générative. Vous intégrerez une équipe data science et collaborerez avec Inria et CNRS dans le cadre du projet ANR PACMAM.

Le poste demande une autonomie avérée, une pratique avancée de Python, des compétences en CI/CD, et une expérience avec des API LLM (OpenRouter). Télétravail possible avec présence régulière à Paris.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Data Scientist | AI Monitoring & RegulTech TrackLLM
Data Scientist | AI Monitoring & RegulTech TrackLLM

Direction générale des entreprises (DGE) • Paris

On-site
EUR 55,000 - 75,000
Déplacements professionnels
Python & AI Engineer — Remote 2x/sem, LLM & RAG
Python & AI Engineer — Remote 2x/sem, LLM & RAG

lehibou • Lyon

Hybrid
EUR 55,000 - 75,000
Télétravail 2 jours/semaine
Machine Learning Engineer
Machine Learning Engineer

maltem Paris • Île-de-France

Hybrid
EUR 45,000 - 60,000
Développeur IA Générative Confirmé RAG/LLM (Remote Partiel)
Développeur IA Générative Confirmé RAG/LLM (Remote Partiel)

ASI FR • Rennes

Hybrid
EUR 65,000 - 90,000
LLM Engineer (F/H) – CDI – Annecy
LLM Engineer (F/H) – CDI – Annecy

Datsup • Annecy

On-site
EUR 60,000 - 90,000
Développeur Fullstack LLM H/F - Paris
Développeur Fullstack LLM H/F - Paris

WebNet • Paris

On-site
EUR 70,000 - 110,000
GenAI & LLM Infra Engineer - Paris
GenAI & LLM Infra Engineer - Paris

DGSE - Direction Générale de la Sécurité Extérieure • Paris

On-site
EUR 90,000 - 130,000
Technologies à la pointe
Missions uniques
Absence de routine
Data Scientist IA Générative — LLMs & MLOps
Data Scientist IA Générative — LLMs & MLOps

NSI • Paris

On-site
EUR 60,000 - 85,000
Remote-ready Senior AI Engineer Consultant – LLM Production
Remote-ready Senior AI Engineer Consultant – LLM Production

Jakala • Paris

On-site
EUR 90,000 - 130,000
Télétravail partiel
Mutuelle d’entreprise
Forfait Mobilité Durable
+2
Devéloppeur AI (H/F) 75
Devéloppeur AI (H/F) 75

Mindquest • Paris

Hybrid
EUR 101,000 - 129,000