Consultant(e) Senior AI Engineer / Architecte IA on-premise (H/F)

Hedon

Toulouse

On-site

EUR 90,000 - 130,000

Full time

9 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Hedon recherche un expert IA pour construire et opérer une plateforme IA souveraine et on‑premise sur site client, sans accès Internet. Vous piloterez l’architecture, déploierez les services LLM et gérerez le flux de données ERP/SolidWorks, tout en assurant la sécurité et l’évolutivité.

Le poste demande 5+ ans en data/IA, 2+ ans sur LLM en production, et une expertise d’infrastructure on‑premise (Linux, Kubernetes, GitOps).

Qualifications

  • Expérience significative en IA et déploiement LLM en production sur une plateforme on‑premise.
  • Maîtrise Linux (Ubuntu/RHEL), réseau et stockage; gestion GPU NVIDIA.
  • Connaissance d’un CIA/CD/DevOps CI/CD en environnements isolés sans Internet.

Responsibilities

  • Auditer et cadrer les POC, prioriser les cas d’usage et dimensionner le serveur.
  • Construire le socle on‑premise: OS, drivers NVIDIA/CUDA, orchestrations de conteneurs.
  • Mettre en place la plateforme IA: modèles LLM, embeddings, RAG, base vectorielle.
  • Déployer landing zone et MLOps: CI/CD auto‑hébergé, registre interne, pipelines.
  • Intégrer les données ERP et CAO: NAV/ERP, SolidWorks, données SAV.
  • Sécurité et exploitation: SSO/RBAC, traçabilité, secrets, sauvegarde, reprise.
  • Mener un premier projet R&D: OCR des archives et industrialisation de l’assistant SAV.
  • Transférer les compétences: documentation et formation de l’équipe interne.

Skills

5+ ans IA/data
LLM en production
infrastructure on-premise
Linux administration
Kubernetes on-premise
GitOps (Argo CD / Flux)
sécurité et RBAC
français courant

Education

Aucune exigence spécifique

Tools

NVIDIA Driver
CUDA
Kubernetes on-premise
Ansible
Terraform
Harbor / miroirs
MinIO / Ceph
LangChain / LlamaIndex

Job description

Satellites, fusées, avions, véhicules de défense, transports de nouvelle génération : nos équipes travaillent sur les projets qui font rêver les ingénieurs. Spécialisés dans l'industrie, nous réunissons deux expertises : l'ingénierie et l'intelligence artificielle. Né en 2020, Hedon fait aujourd'hui partie d'un groupe de plus de 260 personnes. Une croissance rapide, portée par des talents qui veulent aller loin, et qui en ont les moyens chez nous.

Le poste :

Join the team IA
Tu es passionné(e) par l'IA et les LLM, et tu veux les faire tourner là où se trouvent les données : chez le client, sans cloud public ? Tu souhaites construire de A à Z une plateforme d'IA souveraine, sécurisée et simple à opérer ?
Notre client est un industriel qui conçoit et fabrique des machines spéciales. Pour garder la maîtrise de ses données industrielles (plans SolidWorks, historiques SAV, ERP), il a fait le choix d'une IA hébergée en local et vient de valider l'achat d'un serveur GPU dédié (4× NVIDIA RTX Pro 6000 Blackwell 96 Go, AMD EPYC 32 cœurs).
Une petite équipe interne (chef de projet, développeur, infra/réseaux) a déjà mené plusieurs POC : assistant de diagnostic SAV, recherche d'affaires similaires, fine-tuning et base vectorielle. Elle cherche maintenant un expert pour construire la plateforme, l'exploiter sur site et passer à l'échelle sur une dizaine de cas d'usage. Tout tourne sur l'infrastructure du client, y compris sans accès Internet.

Tes missions seront de :
  • Auditer et cadrer : revue des POC existants, priorisation des cas d'usage (SAV, commerce, bureau d'études SolidWorks, production) et dimensionnement du serveur.
  • Construire le socle on-premise : installation et durcissement de l'OS, drivers NVIDIA/CUDA, orchestration de conteneurs avec GPU, partage des GPU entre usages.
  • Mettre en place la plateforme IA : service des modèles LLM et embeddings, RAG, base vectorielle, graphe de connaissances, passerelle d'accès unique aux modèles.
  • Déployer la landing zone et le MLOps : CI/CD sur GitLab auto-hébergé, registre d'images et de modèles en interne, pipelines de données et d'entraînement continu, infrastructure as code.
  • Intégrer les données : ERP (NAV, en refonte), SolidWorks, outils SAV, données hébergées sur VPS et serveurs de stockage.
  • Assurer la sécurité et l'exploitation : SSO et habilitations, traçabilité des réponses, gestion des secrets, supervision GPU, sauvegarde et plan de reprise (serveur unique).
  • Mener un premier projet R&D : industrialisation de l'assistant SAV et cadrage de l'OCR des archives papier (30 ans de bons d'intervention).
  • Transférer les compétences : documentation, formation et accompagnement de l'équipe interne vers l'autonomie.
Profil recherché :

Tu as 5 ans ou plus en data/IA, dont au moins 2 ans sur des LLM en production, avec une vraie expérience de l'infrastructure on-premise (pas uniquement des services managés cloud).
Infrastructure on-premise : administration Linux (Ubuntu / RHEL), réseau, stockage ; drivers NVIDIA, CUDA, partage GPU (MIG, time-slicing) ; Kubernetes on-premise (k3s, RKE2 ou équivalent), NVIDIA GPU Operator ; Ansible, Terraform, Helm, GitOps (Argo CD / Flux) ; environnements isolés ou sans Internet (Harbor, miroirs de modèles et de paquets) ; stockage objet S3 on-premise (MinIO, Ceph).
IA et LLM : serving avec vLLM, TGI, Triton ou Ollama (multi-GPU, quantization) ; passerelle d'accès aux modèles (LiteLLM ou équivalent) ; RAG avec LangChain ou LlamaIndex et évaluation de la qualité des réponses ; bases vectorielles (Qdrant, Milvus, pgvector) ; fine-tuning Hugging Face (Transformers, PEFT/LoRA) et préparation de datasets.
MLOps et données : GitLab CI, MLflow ou équivalent ; pipelines de données (Airflow, Dagster ou Prefect) ; intégration par API d'ERP et d'applications métier.
Sécurité et exploitation : SSO / RBAC (Keycloak, LDAP/AD), gestion des secrets (Vault) ; supervision (Prometheus, Grafana, DCGM exporter) ; sauvegarde et reprise (Velero, restic) ; journalisation et traçabilité des requêtes et réponses IA.
Savoir-être : tu as une posture de conseil, le goût du transfert de compétences et du pragmatisme : des choix adaptés à une petite équipe.
Tu maîtrises le français couramment (indispensable).
Un plus : graphes de connaissances (Neo4j), OCR et extraction documentaire (Docling, modèles vision-langage), données CAO / SolidWorks (API, nomenclatures), ERP Microsoft Dynamics NAV / Business Central, expérience dans l'industrie manufacturière et notions de vision industrielle, connaissance d'un cloud privé (OpenStack, Proxmox) ou souverain (SecNumCloud).

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Consultant(e) Senior AI Engineer / Architecte IA on-premise (H/F)
Consultant(e) Senior AI Engineer / Architecte IA on-premise (H/F)

Hedon • Toulouse

Hybrid
EUR 90,000 - 130,000
Architecte Solutions Data & IA (H/F)
Architecte Solutions Data & IA (H/F)

KLANIK • Marseille

On-site
EUR 85,000 - 110,000
Ingénieur IA
Ingénieur IA

Alliance Services Plus • Montpellier

On-site
EUR 70,000 - 95,000
ML Engineer / MLOps (H/F)
ML Engineer / MLOps (H/F)

Thélio • Bordeaux

On-site
EUR 70,000 - 110,000
AI Tech Lead - Senior AI Engineer - F/H - Paris
AI Tech Lead - Senior AI Engineer - F/H - Paris

A-Player • Paris

On-site
EUR 120,000 - 180,000
ML Engineer / MLOps (H/F)
ML Engineer / MLOps (H/F)

Thélio • Toulouse

On-site
EUR 90,000 - 120,000
Ingénieur Devops IA – CDI (H/f)
Ingénieur Devops IA – CDI (H/f)

ALTEN Group • Île-de-France

Remote
EUR 90,000 - 150,000
ML Engineer / MLOps (H/F)
ML Engineer / MLOps (H/F)

Thélio • Lyon

On-site
EUR 70,000 - 110,000
Lead AI Engineer - Architecture & Conseil H/F
Lead AI Engineer - Architecture & Conseil H/F

Mp Data • Boulogne-Billancourt

Hybrid
EUR 90,000 - 140,000
Rôle conseil
Projets ambitieux
Environnements réels
+1
Ingénieur DevOps Plateforme GPU - F/H
Ingénieur DevOps Plateforme GPU - F/H

AVANISTA • Guyancourt

Hybrid
EUR 85,000 - 120,000
Télétravail 2 jours/semaine