Senior AI Inference Engineer Amstelveen of Eindhoven

Empiric

Randstad

Hybride

EUR 90 000 - 130 000

Plein temps

Il y a 5 jours
Soyez parmi les premiers à postuler

Obtenez une réponse de cet employeur

Votre CV et votre lettre de motivation, adaptés exactement à ce que l’employeur recherche.

Passez les filtres ATS

Avantages offerts par ce poste

GPUs/High-performance hardware

Résumé du poste

Empiric zoekt een Senior AI Inference Engineer die bijdraagt aan een veilig en schaalbaar AI-platform. Je werkt in een zelfstandig Scrum-team en maakt cruciale technische keuzes rondom modelkeuzes, hardware en performance.

Je ervaring met ML-platformontwikkeling, LLM-serving op GPU's, en kennis van KV-cache, batching en kwantisatie helpen bij het opzetten van reproduceerbare benchmarks en betrouwbare inference pipelines. Engels vloeiend vereist.

Qualifications

  • Ervaring met ML-platformontwikkeling en enterprise AI-inference.
  • Productie-ervaring met LLM-serving op GPU's, bijvoorbeeld met vLLM of een vergelijkbare engine.
  • Kennis van KV-cache, batching, prefix caching en kwantisatie.
  • Inzicht in GPU-infrastructuur en de verschillen tussen NVLink en Ethernet.
  • Een reproduceerbare aanpak voor performancebenchmarking.
  • Praktische kennis van Python en Kubernetes.
  • Goede mondelinge en schriftelijke beheersing van het Engels.

Responsabilités

  • Optimaliseren van AI-prestaties door schaaltests op een node met acht H200-GPU's en diverse serving-strategieën te evalueren.
  • Capaciteitsmodellen ontwikkelen voor tokens en requests per minuut per model en per GPU.
  • Modelcatalogus verbeteren door reproduceerbare benchmarks op te zetten ter vergelijking van prestaties, kwaliteit en hardwarevereisten.
  • Veilige AI ontwikkelingen door input- en outputfiltering te ontwerpen met open-weight modellen op eigen infrastructuur.
  • Nieuwe modellen beoordelen op licenties, kwantisatie (NVFP4, FP8 en INT8), geheugengebruik en servingconfiguraties.
  • Kennis vastleggen en architectuurbeslissingen documenteren via ADR's.

Connaissances

ML-platformontwikkeling
LLM-serving op GPU's
KV-cache en batching
Kwantisatie
GPU-infrastructuur
Performance benchmarking
Python
Kubernetes
Engels

Outils

vLLM
KServe
llm-d
MLflow

Description du poste

Locatie:1-2 dagen per week op locatie Amstelveen / Eindhoven HQ. Flexibiliteit wordt van de kandidaat verwacht.

Bouw mee aan de toekomst van veilige en onafhankelijke AI

Als Senior AI Inference Engineer speel je een belangrijke rol in de ontwikkeling van een veilig, onafhankelijk en schaalbaar AI-platform. Je zorgt ervoor dat AI-modellen efficiënt, betrouwbaar en op de juiste schaal draaien, ook voor bedrijfskritische toepassingen waarbij prestaties, veiligheid en controle essentieel zijn.

Samen met de Product Manager, Product Owner en andere AI-engineers werk je aan de verdere ontwikkeling van het platform. Je maakt deel uit van een zelfstandig Scrum-team waarin ruimte is voor technische diepgang, eigen initiatief en samenwerking.

Je krijgt de vrijheid en verantwoordelijkheid om belangrijke technische keuzes te maken. Welke modellen zijn geschikt? Welke hardware is nodig? Hoe optimaliseer je prestaties en capaciteit? Jij onderzoekt de mogelijkheden, onderbouwt beslissingen met meetbare resultaten en vertaalt technische inzichten naar praktische oplossingen.

Daarbij kijk je verder dan alleen de techniek. Je denkt mee over de kwaliteit, schaalbaarheid en betrouwbaarheid van het platform en zoekt continu naar de juiste balans tussen innovatie, performance en time-to-market.

  • AI-prestaties optimaliseren: Je voert schaaltests uit op een node met acht H200-GPU's en vergelijkt servingstrategieën, waaronder tensor parallelism en replica's met cache-aware routing via llm-d.
  • Capaciteit inzichtelijk maken: Je vertaalt benchmarkresultaten naar concrete capaciteitsmodellen voor tokens en requests per minuut per model en per GPU.
  • De modelcatalogus verbeteren: Je ontwikkelt reproduceerbare benchmarks om modellen te vergelijken op prestaties, kwaliteit en hardwarevereisten.
  • Veilige AI ontwikkelen: Je ontwerpt mogelijkheden voor input- en outputfiltering met open-weight modellen die op de eigen infrastructuur draaien.
  • Nieuwe modellen beoordelen: Je onderzoekt licenties, kwantisatie (NVFP4, FP8 en INT8), geheugengebruik en servingconfiguraties.
  • Kennis delen en keuzes vastleggen: Je documenteert architectuurbeslissingen en technische afwegingen via Architecture Decision Records (ADR's).
Wat breng je mee?

Je bent een ervaren engineer die graag de diepte ingaat, analytisch denkt en energie krijgt van complexe technische uitdagingen. Je combineert hands‑on expertise met een pragmatische aanpak en neemt graag verantwoordelijkheid voor oplossingen die in de praktijk het verschil maken.

Daarnaast heb je:
  • Ervaring met ML-platformontwikkeling en enterprise AI-inference.
  • Productie-ervaring met LLM-serving op GPU's, bijvoorbeeld met vLLM of een vergelijkbare engine.
  • Kennis van KV-cache, batching, prefix caching en kwantisatie.
  • Inzicht in GPU-infrastructuur en de verschillen tussen NVLink en Ethernet.
  • Een reproduceerbare aanpak voor performancebenchmarking.
  • Praktische kennis van Python en Kubernetes.
  • Goede mondelinge en schriftelijke beheersing van het Engels.

Vanwege de soevereiniteitsvereisten is EU-nationaliteit vereist, zonder dubbele nationaliteit.

Mooi meegenomen

Ervaring met KServe, llm-d, AMD ROCm, modelevaluatie, guardrail-modellen of MLflow is een plus. Ook kennis van het Nederlands is welkom.

Waarom deze uitdaging?

Je werkt aan technologie die verder gaat dan experimenteren: je helpt een AI-platform vormgeven waarop organisaties kunnen vertrouwen voor veeleisende en bedrijfskritische toepassingen.

Je krijgt ruimte om zelfstandig technische keuzes te maken, nieuwe oplossingen te onderzoeken en jouw expertise verder te ontwikkelen. Samen met je collega's bouw je aan een platform waarin performance, veiligheid en digitale autonomie samenkomen.

Krijg jij energie van het optimaliseren van AI-inference en wil je met jouw technische expertise bijdragen aan betrouwbare, schaalbare AI? Dan maken we graag kennis met je.

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.

Similar jobs

Postes similaires à comparer

Senior Inference Engineer
Senior Inference Engineer

Gazelle Global • Amstelveen

Sur place
EUR 120 000 - 150 000
Senior Agentic AI Engineer
Senior Agentic AI Engineer

Empiric • Randstad

Sur place
EUR 65 000 - 90 000
Ruimte voor persoonlijke ontwikkeling
Samenwerken met experts
Software AI Engineer
Software AI Engineer

HighTech Innovators • Pays-Bas

Hybride
EUR 70 000 - 110 000
Thuiswerken mogelijk
Thuiswerkbudget
Pensioenregeling
+3
AI Engineer
AI Engineer

Future Facts B.V. • Amsterdam

Sur place
EUR 70 000 - 110 000
Bonusregeling
Lease- of mobiliteitsbudget
Onkostenvergoeding (Internet & mobiel)
+8
AI Engineer
AI Engineer

Vacaturebank • Pays-Bas

Sur place
EUR 70 000 - 110 000
Lead AI Engineer
Lead AI Engineer

iO • 's-Hertogenbosch

Hybride
EUR 60 000 - 85 000
Senior AI Engineer (zzp - freelance)
Senior AI Engineer (zzp - freelance)

UWV • Amsterdam

Sur place
EUR 90 000 - 130 000
AI Engineer
AI Engineer

Hot ITem Groep • Amsterdam

Sur place
Confidential
Aantrekkelijke bonusregeling
Sabbatical-opties
Persoonlijk ontwikkelingsplan
+3
Lead AI Engineer
Lead AI Engineer

iO • Eindhoven

Hybride
EUR 70 000 - 90 000
GenAI Platform Engineer for Scalable AI Services
GenAI Platform Engineer for Scalable AI Services

Vacaturebank • Pays-Bas

À distance
EUR 70 000 - 110 000