Associate AI Inference Engineer (m/f/d/x)

T-Systems International; Hamburg; Hybrid; EUR 60,000 - 90,000; Full time

Benefits offered by this job

Weiterbildungsmöglichkeiten

Kollegiales Arbeitsumfeld

Job summary

T-Systems International GmbH baut Europas nächste Generation von KI-Infrastruktur und betreibt leistungsstarke LLM-Services auf NVIDIA-GPUs. Gesucht wird ein Associate AI Inference Engineer zur Verstärkung des AI-Platform-Teams, der Bereitstellung, Betrieb und Optimierung produktiver LLM-Inference-Services verantwortet.

Sie arbeiten eng mit Plattform-Ingenieuren, AI-Researchern und Softwareentwicklern zusammen, um zuverlässige KI-Services für Unternehmenskunden bereitzustellen.

Qualifications

• Abgeschlossenes Studium in Informatik/Engineering oder vergleichbar.
• Praktische Erfahrung in AI-/ML-Infrastruktur, ideal als Werkstudent oder Research Engineer.
• Sehr gute Python-Kenntnisse und Erfahrung mit AI-Anwendungen.
• Erfahrung in Bereitstellung, Benchmarking oder Optimierung von LLM-Inference-Workloads.
• Kenntnisse moderner LLM-Serving-Technologien wie vLLM, SGLang.
• Erfahrung mit NVIDIA-GPU-Infrastruktur und entsprechenden Plattformen.
• Kenntnisse in Docker, Kubernetes, Linux-Umgebungen.
• Analytische Fähigkeiten und Teamarbeit in multidisziplinären Teams.

Responsibilities

• Bereitstellung, Konfiguration und Betrieb produktiver LLM-Inference-Services auf Basis der AI Foundation Plattform.
• Optimierung von Inference-Workloads auf NVIDIA-GPU-Infrastruktur (Latenz, Durchsatz).
• Benchmarking von LLM-Serving-Frameworks und Model Deployments.
• Implementierung moderner Serving-Techniken wie KV-Cache, Continuous Batching, Distributed Inference.
• Mitwirkung bei Skalierung von AI-Workloads auf Kubernetes.
• Behebung von Performance-Problemen über Software-, Netzwerk- und GPU-Infrastruktur hinweg.
• Automatisierung von Deployment-, Benchmarking- und Betriebsprozessen.
• Monitoring von Inference-Services via Metriken/Logs/Dashboards.
• Zusammenarbeit mit AI Engineers/Researchers bei Onboarding neuer Foundation Models.

Skills

Python

Docker

Kubernetes

Linux

LLM-Inference

NVIDIA-GPU

Education

Bachelorabschluss Informatik/Elektrotechnik/IT

Master in KI/ML vorteil

Tools

vLLM

SGLang

TensorRT-LLM

Docker

Job description

Über die Position

T-Systems baut Europas nächste Generation von KI-Infrastruktur mit der AI Industry Cloud auf, die von Tausenden NVIDIA-GPUs betrieben wird, darunter NVIDIA DGX B200- und B300-Systeme der neuesten Generation. Unsere Plattform ermöglicht es Unternehmen, modernste Large Language Models (LLMs) und Generative-AI-Anwendungen auf einer sicheren und hochperformanten Infrastruktur bereitzustellen, zu skalieren und zu betreiben.

Wir suchen einen Associate AI Inference Engineer zur Verstärkung unseres AI-Platform-Teams. In dieser Rolle unterstützt du die Bereitstellung, den Betrieb und die Optimierung produktiver LLM-Inference-Services auf Basis der T-Systems AI Foundation Plattform, die auf der Industrial AI Cloud betrieben wird. In enger Zusammenarbeit mit Plattform-Ingenieuren, AI Researchern und Softwareentwicklern trägst du dazu bei, hochperformante und zuverlässige KI-Services für Unternehmenskunden bereitzustellen.

Diese Position eignet sich insbesondere für Berufseinsteiger mit praktischer Erfahrung im Bereich LLM Inference, die mit moderner NVIDIA-GPU-Infrastruktur und produktiven KI-Systemen in großem Maßstab arbeiten möchten.

Aufgaben

• Bereitstellung, Konfiguration und Betrieb produktiver LLM-Inference-Services auf Basis der T-Systems AI Foundation Plattform.
• Optimierung von Inference-Workloads auf NVIDIA-GPU-Infrastruktur hinsichtlich Latenz, Durchsatz und GPU-Auslastung.
• Benchmarking und Evaluierung von LLM-Serving-Frameworks, Inference-Konfigurationen und Model Deployments.
• Implementierung und Optimierung moderner LLM-Serving-Techniken wie KV-Cache-Optimierung, Continuous Batching und Distributed Inference.
• Zusammenarbeit mit Plattform-Ingenieuren bei der Bereitstellung und Skalierung von AI-Workloads auf Kubernetes.
• Analyse und Behebung von Performance-Problemen im Inference-Betrieb über Software-, Netzwerk- und GPU-Infrastruktur hinweg.
• Mitwirkung bei der Automatisierung von Deployment-, Benchmarking- und Betriebsprozessen.
• Monitoring von Inference-Services mithilfe von Metriken, Logging und Dashboards zur Sicherstellung eines zuverlässigen Produktivbetriebs.
• Enge Zusammenarbeit mit AI Engineers und Researchern beim Onboarding neuer Foundation Models und Inference-Technologien.
• Pflege der technischen Dokumentation und Mitwirkung an der kontinuierlichen Weiterentwicklung der AI-Inference-Plattform.

Must-Have Skills

• Bachelorabschluss in Informatik, Elektrotechnik, Informationstechnologie oder einer vergleichbaren technischen Fachrichtung. Ein Masterabschluss in Künstlicher Intelligenz, Machine Learning oder einem verwandten Bereich ist von Vorteil.
• Relevante praktische Erfahrung in AI Engineering, Machine Learning Engineering oder AI Infrastructure Engineering, einschließlich Erfahrung als Werkstudent oder Research Engineer.
• Sehr gute Programmierkenntnisse in Python sowie Erfahrung in der Entwicklung von AI-Anwendungen und entsprechenden Tools.
• Praktische Erfahrung bei der Bereitstellung, dem Benchmarking oder der Optimierung von Large-Language-Model-(LLM)-Inference-Workloads.
• Praktische Erfahrung mit modernen LLM-Serving-Frameworks wie vLLM und SGLang.
• Praktische Erfahrung bei der Optimierung von LLM-Inference-Workloads auf NVIDIA-GPU-Infrastruktur sowie Berührungspunkte mit NVIDIA-DGX/HGX-Systemen oder GPU-Plattformen der nächsten Generation wie B200 und B300.
• Erfahrung mit der Evaluierung oder Optimierung fortgeschrittener Inference-Techniken wie KV Caching, Disaggregated Prefill/Decode Inference oder vergleichbaren LLM-Serving-Optimierungen.
• Kenntnisse moderner NVIDIA-Inference-Technologien wie NVIDIA Dynamo, LMCache, TensorRT-LLM, Triton Inference Server oder vergleichbarer GPU-Inference-Frameworks.
• Erfahrung im Benchmarking von AI-Modellen sowie in der Analyse von Inference-Performance, Latenz, Durchsatz und Serving-Effizienz.
• Erfahrung mit Docker, Kubernetes, Bash und Linux-basierten Compute-Umgebungen.
• Ausgeprägte analytische Fähigkeiten und Problemlösungskompetenz sowie die Fähigkeit zur Zusammenarbeit in multidisziplinären Engineering-Teams.
• Reisebereitschaft von bis zu 50 %.
• Internationale Erfahrung, beispielsweise durch Studium, Arbeit oder längere Auslandsaufenthalte.

Nice-to-Have Skills

• Kenntnisse in CUDA, NCCL, NVLink, GPUDirect RDMA oder InfiniBand Networking.
• Erfahrung im Betrieb produktiver AI-Services auf Kubernetes.
• Kenntnisse von Observability-Tools wie Prometheus, Grafana und OpenTelemetry.
• Erfahrung mit Helm, Terraform, GitHub Actions oder Infrastructure-as-Code.
• Erfahrung mit Enterprise-AI-Plattformen oder Multi-Tenant-Inference-Umgebungen.
• Kenntnisse im Bereich Retrieval-Augmented Generation (RAG), Vektordatenbanken oder Embedding-Retrieval-Systemen.

Was wir bieten

• Die Möglichkeit, an einer der größten Enterprise-AI-Plattformen Europas mitzuarbeiten.
• Arbeit mit modernster NVIDIA-AI-Infrastruktur, einschließlich DGX B200- und B300-Systemen.
• Praktische Erfahrung mit modernen LLM-Inference-Technologien, darunter AI Foundation, vLLM, SGLang, TensorRT-LLM, NVIDIA Dynamo und LMCache.
• Arbeit mit großen GPU-Clustern für Enterprise-AI-Workloads.
• Zusammenarbeit mit erfahrenen AI Researchern, Plattform-Ingenieuren und Softwareentwicklern.
• Möglichkeiten zur kontinuierlichen Weiterbildung sowie zur fachlichen und persönlichen Weiterentwicklung.
• Ein kollaboratives Arbeitsumfeld, in dem Innovation, technische Exzellenz und Wissensaustausch gefördert

Über T-Systems International GmbH

Bei T-Systems bieten wir unseren Geschäftskunden die richtigen Systemlösungen für ihr digitales Business. Mit unserem Portfolio stellen wir sicher, dass digitale Transformation Komplexität reduziert, Kosten einspart und die alltägliche Arbeit erleichtert. Unsere Schwerpunkte sind Konnektivität, Digital, Cloud & Infrastruktur sowie Sicherheit - Let's power higher performance!