Senior Inference Engineer

Gazelle Global; Amstelveen; On-site; EUR 120,000 - 150,000; Full time

Job summary

Gazelle Global zoekt een Senior AI Inference Engineer voor een 12 maanden durende opdracht aan een Sovereign AI Platform in Nederland. Je werkt aan LLM-inference, GPU-optimalisatie en capaciteitsplanning, met aandacht voor vendor- en beveiligingsvereisten.

Je bent verantwoordelijk voor benchmarking, modelserving en deploys binnen een Kubernetes-gebaseerde omgeving, met focus op schaalbaarheid en enterprise-grade zekerheid.

Qualifications

• Ervaring met ontwikkeling en beheer van enterprise ML-platformen.
• Productie-ervaring met LLM-inference op GPU-infrastructuur.
• Hands-on ervaring met vLLM of vergelijkbare inference-engines.

Responsibilities

• Ontwerpen en optimaliseren van LLM-inference workloads op GPU-infrastructuur.
• Uitvoeren van schaalbaarheids- en prestatietests op NVIDIA-omgevingen (zoals 8x H200).
• Analyseren van latency, throughput en GPU-gebruik; verbeteren van KV-caching.
• Deployen en beheren van inference-workloads in Kubernetes-integraties.
• Vergelijken van inference-architecturen en modelserving-configuraties.

Skills

ML-platformen

GPU-inference

Python

Kubernetes

Benchmarking

Sovereign AI

Tools

vLLM

TensorRT-LLM

Kubernetes

Job description

Tokens per minute (TPM)

Requests per minute (RPM)

Time to first token (TTFT)

KV cache

Continuous batching

Prefix caching

Tensor parallelism

NVLink versus Ethernet

llm-d: Distributed LLM inference en cache-aware routing.

SGLang: High-performance LLM serving.

Senior AI Inference Engineer - Sovereign AI Platform

Locatie: Nederland
Contractduur: 12 maanden
Functie: Senior AI Inference Engineer
Vakgebied: Artificial Intelligence | Machine Learning | GPU Infrastructure | Cloud Technology
Taal: Engels vereist, Nederlands is een pré
Nationaliteit: EU-paspoort verplicht, dubbele nationaliteit niet toegestaan

Over de functie

Voor een uitdagend en innovatief AI-platformproject zijn wij op zoek naar een ervaren Senior AI Inference Engineer voor een langdurige opdracht van 12 maanden.

In deze rol werk je aan de ontwikkeling, optimalisatie en schaalbaarheid van een geavanceerd Sovereign AI Platform. Dit platform stelt organisaties in staat om krachtige AI-modellen veilig en onafhankelijk te beheren en te gebruiken, zonder afhankelijk te zijn van externe hyperscalers.

Je speelt een belangrijke rol bij het bepalen hoe Large Language Models (LLM's) worden ingezet, welke GPU-infrastructuur het meest geschikt is en hoe inference-prestaties kunnen worden geoptimaliseerd voor bedrijfskritische toepassingen.

Je werkt nauw samen met Product Managers, Product Owners en andere AI Engineers binnen een multidisciplinair Scrum-team met veel zelfstandigheid en technische verantwoordelijkheid.

De focus ligt op LLM inference, GPU-optimalisatie, benchmarking, capaciteitsplanning en enterprise-scale AI-infrastructuur.

Jouw verantwoordelijkheden

• Ontwerpen, implementeren en optimaliseren van LLM-inferenceworkloads op geavanceerde GPU-infrastructuur.

• Uitvoeren van schaalbaarheids- en prestatietests op NVIDIA GPU-omgevingen, waaronder configuraties met 8x H200 GPU's.

• Vergelijken van verschillende inference-architecturen, zoals tensor parallelism en modelreplica's met cache-aware routing.

• Optimaliseren van model-serving met technologieën zoals vLLM, TensorRT-LLM of vergelijkbare inference-engines.

• Analyseren en verbeteren van GPU-gebruik, geheugenbeheer, KV caching en batching.

• Onderzoeken van geavanceerde routingoplossingen, waaronder llm-d.

• Identificeren en oplossen van knelpunten op het gebied van latency, throughput, concurrency en GPU-efficiëntie.

Performance Benchmarking & Capaciteitsplanning

• Ontwikkelen en onderhouden van reproduceerbare benchmarkframeworks voor AI-modelinference.

• Meten en analyseren van belangrijke prestatie-indicatoren, waaronder:

  • Tokens per minute (TPM)

  • Requests per minute (RPM)

  • Time to first token (TTFT)

  • Gelijktijdige gebruikers en verzoeken (concurrency)

  • GPU-throughput en resourcegebruik

  • Inference-latency en modelkwaliteit

• Vertalen van benchmarkresultaten naar betrouwbare capaciteitsmodellen.

• Vaststellen van hardwarevereisten en optimale configuraties per AI-model.

• Ondersteunen van capaciteitsplanning en schaalbaarheid voor enterprise-klanten.

• Documenteren van testresultaten en technische aanbevelingen.

Model Evaluatie & Deployment

• Evalueren van nieuwe open-weight Large Language Models voor gebruik binnen een beveiligde enterprise-omgeving.

• Beoordelen van modellen op prestaties, kwaliteit, licentievoorwaarden en hardwarecompatibiliteit.

• Analyseren van verschillende quantization-technieken, waaronder NVFP4, FP8 en INT8.

• Bepalen van optimale serving-configuraties op basis van geheugengebruik, GPU-capaciteit en prestatievereisten.

• Ontwikkelen van gestandaardiseerde evaluatiemethoden voor modelkwaliteit en performance.

• Bijdragen aan de ontwikkeling en het onderhoud van een enterprise AI-modelcatalogus.

AI Security, Governance & Sovereignty

• Ontwerpen en implementeren van contentfiltering voor zowel input als output van AI-modellen.

• Evalueren en integreren van lokaal gehoste guardrail- en contentmoderatiemodellen.

• Waarborgen dat inference-oplossingen voldoen aan de eisen van een sovereign AI-omgeving.

• Ondersteunen van veilige en gecontroleerde AI-deployment binnen private infrastructuren.

• Bijdragen aan oplossingen gericht op databescherming, compliance en operationele onafhankelijkheid.

Engineering & Samenwerking

• Samenwerken met AI Engineers, Platform Engineers, Product Owners en Product Managers.

• Ontwikkelen van Python-gebaseerde tooling en automatisering voor benchmarking en inference-operaties.

• Deployen en beheren van inferenceworkloads binnen Kubernetes-omgevingen.

• Vastleggen van belangrijke technische beslissingen in Architecture Decision Records (ADR's).

• Actief deelnemen aan Scrum-ceremonies en technische ontwerpbesprekingen.

• Bijdragen aan continue verbetering van platformprestaties, betrouwbaarheid en schaalbaarheid.

Functie-eisen

Wij zoeken een ervaren engineer met aantoonbare praktijkervaring in enterprise machine learning-platformen en productieomgevingen voor LLM inference.

Technische vereisten - Must Have

• Aantoonbare ervaring met de ontwikkeling en het beheer van ML-platformen binnen enterprise-omgevingen.

• Hands-on productie-ervaring met het draaien en optimaliseren van Large Language Models op GPU-infrastructuur.

• Ervaring met vLLM of een vergelijkbare LLM inference-engine.

• Diepgaande technische kennis van:

  • KV cache

  • Continuous batching

  • Prefix caching

  • Tensor parallelism

  • Model quantization

  • GPU-geheugenbeheer

  • NVLink versus Ethernet

• Ervaring met reproduceerbare performance- en schaalbaarheidstests.

• Sterke programmeervaardigheden in Python.

• Praktische ervaring met Kubernetes.

• Begrip van GPU-capaciteitsplanning, model-serving en distributed computing.

• Ervaring met het documenteren van technische beslissingen, bijvoorbeeld via ADR's.

• Vermogen om zelfstandig technische problemen te analyseren en op te lossen.

Overige vereisten

• Uitstekende beheersing van de Engelse taal.

• In het bezit van een geldig EU-paspoort.

• Dubbele nationaliteit is niet toegestaan vanwege de geldende soevereiniteitseisen.

• Sterk analytisch vermogen en probleemoplossend denkvermogen.

• Zelfstandig kunnen werken binnen een Agile/Scrum-omgeving.

• Goede communicatieve vaardigheden en een gestructureerde werkwijze.

Pré's - Nice to Have

• KServe: Kubernetes-native model serving.

• llm-d: Distributed LLM inference en cache-aware routing.

• AMD ROCm: GPU-computing en acceleratie.

• MLflow: Model lifecycle management en experiment tracking.

• TensorRT-LLM: Geoptimaliseerde inference op NVIDIA GPU's.

• SGLang: High-performance LLM serving.

• NVIDIA H100/H200: Ervaring met geavanceerde GPU-infrastructuur.

• Model evaluation frameworks: Benchmarking en modelkwaliteitsbeoordeling.

• Guardrail models: Contentfiltering en AI-beveiliging.

• FP8, NVFP4 en INT8: Quantization en modeloptimalisatie.

• Ervaring met sovereign cloud, private AI-platformen of on-premises AI-infrastructuur.

• Goede beheersing van de Nederlandse taal.

Wat maakt deze opdracht interessant?

• Langdurige opdracht van 12 maanden binnen een innovatieve AI-engineeringomgeving.

• Werken met geavanceerde NVIDIA H200 GPU-infrastructuur en moderne LLM-technologieën.

• Directe invloed op de architectuur en ontwikkeling van een enterprise Sovereign AI Platform.

• Veel technische verantwoordelijkheid en ruimte voor eigen initiatief.

• Mogelijkheid om te werken met de nieuwste open-weight AI-modellen en inference-frameworks.

• Samenwerken met ervaren AI Engineers en Platform Engineers.

• Focus op technisch uitdagende vraagstukken rondom GPU-optimalisatie, inference-performance en schaalbaarheid.

• Bijdragen aan veilige, onafhankelijke en toekomstbestendige AI-infrastructuur.

Wie zoeken wij?

De ideale kandidaat is een ervaren Senior AI Inference Engineer, ML Infrastructure Engineer, AI Platform Engineer of Machine Learning Systems Engineer met een sterke technische achtergrond in GPU-gebaseerde LLM inference.

Je weet niet alleen hoe je een AI-model in productie brengt, maar begrijpt ook hoe je de prestaties, schaalbaarheid en efficiëntie ervan aanzienlijk kunt verbeteren.

Je hebt ervaring met het analyseren van inference-bottlenecks, optimaliseren van GPU-resources, vergelijken van model-servingconfiguraties en ontwikkelen van betrouwbare benchmarkmethoden.

Dit is een hands‑on engineeringfunctie waarbij diepgaande technische expertise centraal staat. De functie is minder geschikt voor kandidaten die uitsluitend ervaring hebben met prompt engineering, generatieve AI‑applicatieontwikkeling of traditionele data science.