Senior AI Inference Engineer — Sovereign Platform (NL)

Gazelle Global; Amstelveen; On-site; EUR 120,000 - 150,000; Full time

Job summary

Gazelle Global zoekt een Senior AI Inference Engineer voor een 12 maanden durende opdracht aan een Sovereign AI Platform in Nederland. Je werkt aan LLM-inference, GPU-optimalisatie en capaciteitsplanning, met aandacht voor vendor- en beveiligingsvereisten.

Je bent verantwoordelijk voor benchmarking, modelserving en deploys binnen een Kubernetes-gebaseerde omgeving, met focus op schaalbaarheid en enterprise-grade zekerheid.

Qualifications

• Ervaring met ontwikkeling en beheer van enterprise ML-platformen.
• Productie-ervaring met LLM-inference op GPU-infrastructuur.
• Hands-on ervaring met vLLM of vergelijkbare inference-engines.

Responsibilities

• Ontwerpen en optimaliseren van LLM-inference workloads op GPU-infrastructuur.
• Uitvoeren van schaalbaarheids- en prestatietests op NVIDIA-omgevingen (zoals 8x H200).
• Analyseren van latency, throughput en GPU-gebruik; verbeteren van KV-caching.
• Deployen en beheren van inference-workloads in Kubernetes-integraties.
• Vergelijken van inference-architecturen en modelserving-configuraties.

Skills

ML-platformen

GPU-inference

Python

Kubernetes

Benchmarking

Sovereign AI

Tools

vLLM

TensorRT-LLM

Kubernetes

Job description

Gazelle Global zoekt een Senior AI Inference Engineer voor een 12 maanden durende opdracht aan een Sovereign AI Platform in Nederland. Je werkt aan LLM-inference, GPU-optimalisatie en capaciteitsplanning, met aandacht voor vendor- en beveiligingsvereisten.

Je bent verantwoordelijk voor benchmarking, modelserving en deploys binnen een Kubernetes-gebaseerde omgeving, met focus op schaalbaarheid en enterprise-grade zekerheid.