Architecte infrastructure cloud & GPU IA (F/H)

Ministère de la Justice; Paris; Hybride; EUR 90 000 - 150 000; Plein temps

Avantages offerts par ce poste

Restauration d’entreprise à tarif dégr

Télétravail jusqu’à 3 jours/semaine

Mutuelle obligatoire

Accessibilité en transport

Parking privé

Remboursement transports 75%

Bénéficier des formations

Résumé du poste

La Direction du numérique du Ministère de la Justice recrute un architecte infra cloud et IA capable de concevoir et de déployer une infrastructure GPU scalable pour l’inférence des LLM, en contexte cloud et API.

Vous piloterez le déploiement, les gateway API, le monitoring (Prometheus, Grafana) et assurerez la sécurité IAM, le coût et la scalabilité, en collaboration avec data scientists, ML engineers et devOps.

Qualifications

• Diplômé d'une école d'ingénieur ou équivalent universitaire avec au moins 5 ans d'expérience.
• Expérience en déploiement à grande échelle de systèmes distribués multi-GPU et multi-modèles.
• Maîtrise Linux, IAAS/CAAS et architecture microservices (Kubernetes/OpenShift).
• Connaissances en CI/CD, Infrastructure as Code et sécurité des systèmes IA (RGPD).
• Compétences en Python, Java ou Scala et gestion de bases de données vectorielles.

Responsabilités

• Concevoir et déployer une infrastructure GPU scalable pour l’inférence des LLM.
• Gérer un parc de modèles LLM et optimiser leur déploiement.
• Concevoir gateway/API d’inférence et de RAG avec stockage vectoriel.
• Mettre en place guardrails, quotas,gestion de files d’attente et IAM sécurisé.
• Implémenter monitoring et observabilité (Prometheus, Grafana).
• Choix OS et middleware, veille technologique sur les déploiements LLM.
• Support interne de niveau 3 et supervision des frameworks et outils.

Connaissances

Architecte infra cloud

GPU deployment

Multi-GPU systems

Kubernetes OpenShift

CI/CD

Infrastructure as Code

Python

Java/Scala

MLOps

Data engineering

Spark Kafka Airflow

Sécurité IA/RGPD

Formation

École d'ingénieur ou équivalent universitaire

Outils

Terraform

GitLab

ArgoCD

Prometheus Grafana

Elastic/Vector DB

Description du poste

La Direction du numérique recrute : rejoignez-la !

Le ministère de la Justice s’est engagé dans une dynamique de transformation numérique ambitieuse au profit d’une justice plus lisible, plus accessible et plus efficace. L’ambition est de faire du ministère de la Justice un acteur majeur dans le développement de l’administration numérique.

La Direction du numérique définit ainsi, au regard des orientations interministérielles et en lien avec les directions et services, la stratégie de développement du numérique du ministère.

Rattaché(e) au département Infrastructures et des Services du Socle (ISS) et placé(e) sous la responsabilité du chef de bureau Ingénierie, Réseau, Infrastructure et Systèmes (IRIS), vous intervenez en tant qu'architecte infra cloud et GPU & inférence IA. Votre rôle sera d’apporter votre expertise dans l’utilisation de GPU et de service d’inférence d’inférence VLLM dans un contexte principalement Cloud (VM ou K8S Managé) et d’intégration de service LLMaaS. Vous devrez avoir une compréhension approfondie de l'architecture Cloud et GPU et être en capacité d’évaluer les performances de la pile matérielle et logicielle.

À ce titre, vos principales missions (liste non-exhaustive) seront de :

Concevoir et déployer une infrastructure GPU scalable et performante pour l’inférence des LLMs, capable de supporter jusqu’à plusieurs dizaines de milliers d’utilisateurs en direct ou via des services API

Mettre en place un dispositif permettant gérer un parc Modèle LLM instanciés et optimiser leur déploiement.

Concevoir et articuler les gateway et API d’inférence et de RAG (BDD Vectorielle Elastic) à destination des Applicatif tiers.

Mettre en place des mécanismes robustes de gestion des guardrails, quotas, rate limiting, gestion de file d’attente et sécurité avancée IAM

Implémenter des solutions de monitoring et observabilité avancées (Prometheus, Grafana).

Etablir les choix de système d’exploitation et des middlewares de associés à ce contexte.

Effectuer une veille technologique sur les meilleures pratiques de déploiement à grande échelle de modèles LLM

Assurer un support interne de niveau 3 sur ces produits.

Superviser le choix des frameworks, outils et technologies en collaboration avec les data scientists, ML engineers et devOps

Garantir la scalabilité, la maintenabilité et la sécurité de l’infrastructure

Évaluer l’impact technique et fonctionnel des choix architecturaux

Mettre en place et développer des outils d'analyse et d'amélioration des performances

Maitriser les couts d’usage et identifier et proposer des optimisations.

Assurer l’optimisation continue (load balancing, auto-scaling) et la haute disponibilité des systèmes.

Effectuer une veille technologique sur les meilleures pratiques de déploiement à grande échelle de modèles LLM (Triton, vLLM, Ray Serve)

Poste soumis à une habilitation au Secret de la défense nationale

Votre profil

Intéressé(e) par le monde judiciaire et par le fonctionnement de la justice en France, vous êtes diplômé(e) d'une école d'ingénieur ou équivalent universitaire. Vous justifiez également d'au moins 5 ans d’expérience dans un poste similaire.

Compétences requises

Expérience dans le déploiement à grande échelle de systèmes distribués (multi-GPU, multi-modèles).

Environnements matériels : processeurs, GPU, serveurs multiprocesseurs, interfaces de communication ;

Compétences solides en sécurité et architecture Cloud (IAAS, CAAS)

Système d'exploitation Linux : administration système, scripts d'automatisation (Bash, python, etc.), DHCP, Diskless, PXE ;

Environnements de mesure et de gestion du rendement : logiciels de mesure de performances, outils de développement et de débogage système ;

Connaissance du noyau et des sous-systèmes majeurs ;

Maîtrise avancée des architecture microservices et conteneurisation (OpenShift, Kubernetes)

Connaissance des pratiques CI/CD et Infrastructure as Code (Terraform, Kubernetes, GitLab, ArgoCD).

Connaissance des bases de données vectorielles (Elactic, )

Connaissance des langages Python, Java, Scala

Connaissance en machine learning, deep learning

Connaissance en gestion de modèles IA (MLOps, MLFlow, Hugingface…)

Connaissance en data engineering (Spark, Kafka, Airflow)

Connaissance en sécurité des systèmes IA (authentification, protection des modèles, RGPD)

Connaissances des process de Production et d’exploitation process ITIL

Qualités attendues

Esprit ouvert & Capacité d’initiative

Vous faites preuve d’un leadership technique reconnu

Capacités relationnelles (conduite de réunion, négociation)

Capacités rédactionnelles (rapports, synthèses, …) et maîtrise de l’anglais professionnel

Intéressé(e) par le monde judiciaire et plus généralement par l’administration publique

• Restauration d’entreprise à tarif dégressif
• Télétravail jusqu’à 3 jours par semaine
• Mutuelle obligatoire (Intériale)
• Accessibilité en transport (RER E Rosa Parks, T3b, M12 Front populaire, M7 Corentin Cariou puis navette fluviale)
• Parking privatif (vélo, voiture, scooter…)
• Remboursement des frais des transports en communs à hauteur de 75% (selon plafonds fixé)
• Association sportive et culturelle
• Partenariat avec une crèche d’entreprise en Ile-de-France
• Des opportunités d’évolutions (mobilité interne, ascendante)
• Des opportunités de formation allant jusqu’à 3 formations par an