Ingénieur MLOps / LLMOps, Azure AI & Copilot Studio (IT) / Freelance

Orcan Intelligence Ltd; Paris; Sur place; EUR 90 000 - 120 000; Plein temps

Résumé du poste

Free-Work recherche un Ingénieur MLOps / LLMOps pour piloter des architectures IA sur Azure et Copilot Studio. Vous instrumenterez et optimiserez la récupération, évaluerez la latence et assurerez l’ancrage des réponses dans les sources métier.

Vous distinguerez les limites de la plateforme des paramètres et proposerez une architecture cible, tout en assurant le déploiement, le monitoring et le transfert de compétences aux équipes internes.

Qualifications

• Expérience avérée en MLOps / LLMOps et deployment de modèles d’IA
• Maîtrise d’Azure AI et de Copilot Studio pour concevoir et opérer des pipelines
• Bonne connaissance des pipelines CI/CD, du versioning des prompts et de la gouvernance des modèles

Responsabilités

• Instrumenter et établir une base de référence de l’agent existant: qualité de récupération, latence et ancrage des réponses dans les sources
• Distinguer limites plateforme vs réglages et expliquer clairement au public non technique
• Proposer une architecture cible et optimiser au sein de Copilot Studio ou basculer vers Azure AI Foundry / Azure OpenAI avec couche de récupération
• Construire la chaîne de traitement et de récupération en production: ingestion, découpage, embeddings, indexation, recherche hybride et reranking
• Mettre en place un dispositif d’évaluation avec jeux de données et tests de non-régression
• Implémenter CI/CD, séparation des environnements, versioning des prompts et procédures de retour arrière
• Déployer le monitoring et l’observabilité: coût et tokens par requête, défaillances et dérive
• Garantir la conformité localisation données et gestion des accès, avec traçabilité et gouvernance des modèles
• Documenter la solution et assurer le transfert de compétences vers les équipes internes

Connaissances

MLOps

LLMOps

Azure AI

CI/CD

Outils

Copilot Studio

Azure OpenAI

Description du poste

Pour notre client, nous rechechons en ce moment un Ingénieur MLOps / LLMOps, Azure AI & Copilot Studio.

Objectifs de la mission

• Instrumenter et établir une base de référence de l'agent existant : qualité de la récupération, troncature du contexte, limitations de débit (throttling), latence et ancrage des réponses dans les sources, mesurés sur des cas métier réels

• Distinguer les limites intrinsèques de la plateforme des problèmes de paramétrage et de prompt, et restituer cette distinction de façon claire à un public non technique

• Recommander et faire valider une architecture cible : optimisation au sein de Copilot Studio, ou bascule vers Azure AI Foundry / Azure OpenAI avec une couche de récupération dédiée

• Construire la chaîne de traitement et de récupération en production : ingestion, découpage des documents, embeddings, indexation, recherche hybride et reranking

• Mettre en place un dispositif d'évaluation avec jeux de données de référence et tests de non-régression, afin que chaque évolution soit mesurée et non supposée

• Implémenter la CI/CD, la séparation des environnements, le versioning des prompts et des configurations, ainsi que les procédures de retour arrière

• Déployer le monitoring et l'observabilité : coût et consommation de tokens par requête, modes de défaillance, dérive, boucle de retour utilisateurs

• Garantir la conformité en matière de localisation des données, de gestion des accès, de traitement des données personnelles et de piste d'audit, en cohérence avec les politiques groupe et la gouvernance des modèles

• Documenter la solution et assurer le transfert de compétences vers les équipes internes