Ingénieur MLOps F/H

AP-HP - Direction des Services Numériques (DSN); Paris; Sur place; EUR 70 000 - 110 000; Plein temps

Résumé du poste

AP-HP - Direction des Services Numériques (DSN) cherche un profil infra/mLOps senior pour dimensionner et déployer un cluster GPU, industrialiser la couche GPU et opérer les serveurs d’inférence. Vous travaillerez sur une passerelle LLM interne et les briques RAG, tout en garantissant les cadres données de santé et la traçabilité.

Profil: ingénieur ou équivalent, 3+ ans en infra DevOps/MLOps avec expérience GPU, maîtrise Terraform/Ansible et Kubernetes, coding Python et shell, sensibilité coûts

Qualifications

• Bonne maîtrise de Terraform et Ansible.
• Expérience Kubernetes et gestion de clusters GPU.
• Programmation Python et scripting shell courants.
• Connaissance des API, conteneurs et CI/CD.

Responsabilités

• Dimensionner et déployer le cluster GPU sur OVHcloud et décrire l’infra en Terraform.
• Industrialiser la couche GPU avec drivers, runtime et opérateur Kubernetes.
• Opérer les serveurs d’inférence et optimiser latence et débit.
• Exposer une passerelle LLM interne avec API et contrôle d’accès.
• Contribuer au socle IA/Infrastructure et au run de l’équipe.

Formation

Ingénieur ou équivalent

Outils

Terraform

Ansible

Kubernetes

Python

Shell

CI/CD

Description du poste

• Dimensionner et déployer le cluster GPU sur OVHcloud : choix des instances et des cartes, arbitrages coût / mémoire / débit, réseau et stockage adaptés aux poids de modèles, le tout décrit en Terraform comme le reste de notre infrastructure.
• Industrialiser la couche GPU : drivers et pilotes CUDA, runtime conteneur GPU, opérateur GPU sur Kubernetes, partage et ordonnancement des cartes entre charges de travail, mise à l’échelle et extinction des ressources inutilisées.
• Opérer les serveurs d’inférence : déploiement et réglage de moteurs type vLLM ou équivalents, gestion du cycle de vie des modèles et de leurs versions, quantification, batching, mesure et optimisation de la latence et du débit.
• Exposer une passerelle LLM interne : API compatible avec les clients standards, authentification, quotas et suivi de consommation, journalisation - pour les applications comme pour les outils de l’équipe.
• Construire les briques applicatives d’appui : embeddings et recherche vectorielle, chaînes de RAG sur nos référentiels et notre documentation, évaluation de la qualité des réponses.
• Garantir le cadre données de santé : isolation stricte des environnements, aucune donnée sortante, traçabilité des accès et des inférences, en lien avec la sécurité et la conformité.
• Observer et maîtriser les coûts : métriques GPU, saturation, taux d’occupation, coût par requête et par usage - la sobriété fait partie du travail.
• Contribuer au socle commun : l’infrastructure GPU n’est pas une île, vous participez aussi à l’IaC, à la CI et au run de l’équipe.

Idéalement, vous avez …

• Un diplôme d’ingénieur ou équivalent (Mathématique, Informatique, Santé publique, etc.)
• 3 ans d’expérience minimum en infrastructure, DevOps ou MLOps, dont une expérience significative sur des charges GPU.
• Un profil DevOps qui s’est spécialisé vers le GPU nous intéresse autant qu’un profil MLOps qui a gardé les mains dans l’infrastructure.

Vous maitrisez :- Une pratique réelle de Terraform et d’Ansible : ce poste est un poste d’infrastructure avant d’être un poste d’IA.

• Une expérience concrète de déploiement de charges GPU : vous avez déjà fait tourner des modèles sur des cartes que vous administriez, et vous connaissez les pièges - mémoire, drivers, conteneurs, files d’attente.
• Une bonne connaissance de l’écosystème LLM open weights : serveurs d’inférence, formats et quantifications, dimensionnement mémoire d’un modèle, compromis qualité / vitesse / coût.
• Kubernetes en conditions réelles : déploiements, ressources et limites, stockage persistant, opérateurs.
• Vous codez pour de vrai : Python solide, shell, API et conteneurs - vous livrez du code lisible, testé et versionné.
• Un esprit d’évaluation : vous mesurez avant d’affirmer, y compris sur la qualité des sorties d’un modèle.

• Recherche vectorielle et RAG, observabilité LLM, fine-tuning léger, sensibilité aux enjeux de confidentialité en santé.

Et humainement ? vous êtes …

• doté(e) de qualités relationnelles et de communication : savoir écouter, dialoguer, argumenter en s’adaptant à l’ensemble des interlocuteurs, faire preuve de maîtrise de soi et de diplomatie
• doté(e) d’une aisance orale et rédactionnelle
• organisé(e), rigoureux(se) et méthodique
• flexible, vous vous adaptez à votre environnement
• motivé(e) et êtes intéressé(e) par le domaine de la santé
• de nature curieuse, vous aimez découvrir et apprendre tous les jours