LLMOps Engineer — Production Run & Reliability (Mid)

HumanInTech; Brussel Hoofdstad; Ibrido; EUR 90.000 - 120.000; Tempo pieno

Descrizione del lavoro

HumanInTech recherche un profil intermédiaire pour rejoindre son Centre d'Excellence IA en Bruxelles. Vous serez responsable de la phase Run des services IA déployés sur Azure et Kubernetes, en veillant à la fiabilité, la sécurité et la rentabilité opérationnelle.

Vous intégrerez une équipe avec des ingénieurs seniors et des responsables métiers, et travaillerez sur des pipelines d'ingestion, des intégrations d'agents et la gestion des coûts, tout en respectant les normes de protection des

Competenze

• Vous avez une expérience liée aux LLM en production (6 mois minimum).
• Vous avez investigations de problèmes de qualité ou incidents dans une application LLM ou un agent IA via traces ou logs.
• Vous avez exécuté ou maintenu des évaluations d'applications LLM en réexécutant des jeux de tests après un changement de modèle ou de prompt.
• Vous avez déployé des modifications sur des workloads Kubernetes et du code Terraform via CI/CD sur Azure.

Mansioni

• Surveiller les services IA en production (disponibilité, latence, erreurs) et traiter incidents.
• Maintenir la qualité des réponses (golden sets, métriques, régressions).
• Gérer les pipelines d'ingestion et l'intégration de nouvelles sources de contenu.
• Surveiller les intégrations d'agents et les logs d'actions pour les agents agissant pour les utilisateurs.
• Gérer les mises à niveau et retours de versions des modèles et prompts.
• Suivre les coûts d'exploitation et proposer des optimisations.
• Maintenir les artefacts Terraform, Helm et Azure DevOps et l'alignement DEV/TST/ACC/PROD.
• Appliquer les règles de protection des données et documenter les runbooks.

Formazione

Bachelier ou plus

Strumenti

AzureDevOps

Azure Kubernetes Service

Azure OpenAI Service

LangChain

LLM / Large Language Models

Python

RAG

Terraform

Bases de données vectorielles

Descrizione del lavoro

HumanInTech recherche un profil intermédiaire pour rejoindre son Centre d'Excellence IA en Bruxelles. Vous serez responsable de la phase Run des services IA déployés sur Azure et Kubernetes, en veillant à la fiabilité, la sécurité et la rentabilité opérationnelle.

Vous intégrerez une équipe avec des ingénieurs seniors et des responsables métiers, et travaillerez sur des pipelines d'ingestion, des intégrations d'agents et la gestion des coûts, tout en respectant les normes de protection des