Senior AI Inference Engineer Amstelveen of Eindhoven

Empiric; Randstad; Hybrid; EUR 90,000 - 150,000; Full time

Job summary

Empiric zoekt een Senior AI Inference Engineer die zelfstandig een veilig, schaalbaar en performant AI-platform meebouwt. Je draait mee in een Scrum-team en maakt belangrijke technische keuzes over modellen, hardware en servingstrategieën, met focus op veiligheid en betrouwbaarheid.

Je werkt aan optimalisatie, benchmarking en documentatie van architectuurbeslissingen. Ervaring met Python en Kubernetes is vereist, evenals Engels in schrift en gesprek; kennis van NL is een pluspunt.

Qualifications

• Ervaren engineer met diepe technically hands-on vaardigheden in AI-inference en ML-platformontwikkeling.
• Productie-ervaring met LLM-serving op GPU's en kennis van caching/batching.
• Inzicht in KV-cache, kwantisatie en servingconfiguraties.

Responsibilities

• Optimaliseer AI-prestaties en voer schaaltests uit op GPU-node.
• Ontwerp en documenteer architectuurbeslissingen via ADR's.
• Beoordeel modellen, kwantisatie en hardwarevereisten.
• Werk aan veiligheid en betrouwbaarheid van het AI-platform.

Skills

ML platform development

Enterprise AI inference

LLM serving on GPUs

KV-cache

Batching

Prefix caching

Quantization

GPU infrastructure

Python

Kubernetes

English skills

Dutch language

Job description

Locatie:1-2 dagen per week op locatie Amstelveen / Eindhoven HQ. Flexibiliteit wordt van de kandidaat verwacht.

Bouw mee aan de toekomst van veilige en onafhankelijke AI

Als Senior AI Inference Engineer speel je een belangrijke rol in de ontwikkeling van een veilig, onafhankelijk en schaalbaar AI-platform. Je zorgt ervoor dat AI-modellen efficiënt, betrouwbaar en op de juiste schaal draaien, ook voor bedrijfskritische toepassingen waarbij prestaties, veiligheid en controle essentieel zijn.

Samen met de Product Manager, Product Owner en andere AI-engineers werk je aan de verdere ontwikkeling van het platform. Je maakt deel uit van een zelfstandig Scrum-team waarin ruimte is voor technische diepgang, eigen initiatief en samenwerking.

Je krijgt de vrijheid en verantwoordelijkheid om belangrijke technische keuzes te maken. Welke modellen zijn geschikt? Welke hardware is nodig? Hoe optimaliseer je prestaties en capaciteit? Jij onderzoekt de mogelijkheden, onderbouwt beslissingen met meetbare resultaten en vertaalt technische inzichten naar praktische oplossingen.

Daarbij kijk je verder dan alleen de techniek. Je denkt mee over de kwaliteit, schaalbaarheid en betrouwbaarheid van het platform en zoekt continu naar de juiste balans tussen innovatie, performance en time-to-market.

• AI-prestaties optimaliseren: Je voert schaaltests uit op een node met acht H200-GPU's en vergelijkt servingstrategieën, waaronder tensor parallelism en replica's met cache-aware routing via llm-d.
• Capaciteit inzichtelijk maken: Je vertaalt benchmarkresultaten naar concrete capaciteitsmodellen voor tokens en requests per minuut per model en per GPU.
• De modelcatalogus verbeteren: Je ontwikkelt reproduceerbare benchmarks om modellen te vergelijken op prestaties, kwaliteit en hardwarevereisten.
• Veilige AI ontwikkelen: Je ontwerpt mogelijkheden voor input- en outputfiltering met open-weight modellen die op de eigen infrastructuur draaien.
• Nieuwe modellen beoordelen: Je onderzoekt licenties, kwantisatie (NVFP4, FP8 en INT8), geheugengebruik en servingconfiguraties.
• Kennis delen en keuzes vastleggen: Je documenteert architectuurbeslissingen en technische afwegingen via Architecture Decision Records (ADR's).

Wat breng je mee?

Je bent een ervaren engineer die graag de diepte ingaat, analytisch denkt en energie krijgt van complexe technische uitdagingen. Je combineert hands-on expertise met een pragmatische aanpak en neemt graag verantwoordelijkheid voor oplossingen die in de praktijk het verschil maken.

Daarnaast heb je:

• Ervaring met ML-platformontwikkeling en enterprise AI-inference.
• Productie-ervaring met LLM-serving op GPU's, bijvoorbeeld met vLLM of een vergelijkbare engine.
• Kennis van KV-cache, batching, prefix caching en kwantisatie.
• Inzicht in GPU-infrastructuur en de verschillen tussen NVLink en Ethernet.
• Een reproduceerbare aanpak voor performancebenchmarking.
• Praktische kennis van Python en Kubernetes.
• Goede mondelinge en schriftelijke beheersing van het Engels.

Vanwege de soevereiniteitsvereisten is EU-nationaliteit vereist, zonder dubbele nationaliteit.

Mooi meegenomen

Ervaring met KServe, llm-d, AMD ROCm, modelevaluatie, guardrail-modellen of MLflow is een plus. Ook kennis van het Nederlands is welkom.

Waarom deze uitdaging?

Je werkt aan technologie die verder gaat dan experimenteren: je helpt een AI-platform vormgeven waarop organisaties kunnen vertrouwen voor veeleisende en bedrijfskritische toepassingen.

Je krijgt ruimte om zelfstandig technische keuzes te maken, nieuwe oplossingen te onderzoeken en jouw expertise verder te ontwikkelen. Samen met je collega's bouw je aan een platform waarin performance, veiligheid en digitale autonomie samenkomen.

Krijg jij energie van het optimaliseren van AI-inference en wil je met jouw technische expertise bijdragen aan betrouwbare, schaalbare AI? Dan maken we graag kennis met je.