2. GPU Infrastructure Engineer (Senior) (m/w/d)

SOMI Solutions GmbH; Kassel; Vor Ort; EUR 80.000 - 110.000; Vollzeit

Zusammenfassung

SOMI Solutions GmbH in Hessen sucht einen erfahrenen Infrastructure Engineer mit Fokus auf NVIDIA-Technologien, Kubernetes und KI-Anwendungen.

Sie übernehmen die technische Inbetriebnahme der GPU-Systeme, sichern On-Premise-Betrieb, Ressourcenmanagement und Integration in die bestehende Plattform.

Qualifikationen

• Erfahrung in der technischen Inbetriebnahme GPU-basierter Rechenressourcen und Treiber-/CUDA-Stacks.
• Integration GPU-gestützter Workloads in Kubernetes-Umgebungen.
• Konzeption von GPU-Ressourcenverteilung inkl. MIG.
• Aufbau von LLM-Serving-Infrastrukturen und KI-Diensten.
• Sicherheit, Monitoring und Dokumentation.

Aufgaben

• Technische Inbetriebnahme und Konfiguration von GPU-basierten Rechenressourcen
• Einrichtung und Optimierung des NVIDIA-Treiber- und CUDA-Stacks
• Integration der GPU-Systeme in bestehende Container- und Kubernetes-Umgebungen
• Einsatz und Konfiguration des NVIDIA GPU Operators
• Konzeption und Umsetzung einer geeigneten GPU-Ressourcenverteilung
• Bewertung und Implementierung von NVIDIA Multi-Instance GPU (MIG)
• Prüfung weiterer Verfahren für GPU-Sharing, Scheduling und Ressourcensteuerung
• Sicherstellung der Nutzung der Infrastruktur für native CUDA-Anwendungen
• Aufbau und Konfiguration von LLM-Serving-Infrastrukturen
• Arbeit mit Technologien wie vLLM, NVIDIA Triton oder TGI
• Integration von KI-/LLM-Diensten in bestehende Unternehmens- und Fachanwendungssysteme
• Unterstützung bei der technischen Anbindung SAP-basierter Verfahren
• Aufbau bzw. Anpassung von Netzwerk-, Storage- und Sicherheitskomponenten
• Einrichtung grundlegender Monitoring- und Observability-Funktionen
• Umsetzung geeigneter Zugriffs- und Sicherheitsmechanismen
• Unterstützung bei der Härtung containerisierter KI-Anwendungen
• Analyse und Behebung technischer Probleme im Plattformbetrieb
• Erstellung technischer Dokumentationen und Betriebsunterlagen
• Wissenstransfer an interne Infrastruktur-, Plattform- und Betriebsteams

Kenntnisse

GPU-Cluster-Setup

NVIDIA CUDA

Kubernetes

Containerisierung

NVIDIA GPU Operator

MIG (Multi-Instance GPU)

LLM-Serving-Archtik

vLLM/Triton/TGI

Networking & Storage

Monitoring & Observability

Security & Access Management

SAP-Integration

Dokumentation & Wissensaustausch

German (Verhandlungssicher)

English (Fortgeschritten)

Jobbeschreibung

Für die technische Umsetzung einer modernen GPU-Infrastruktur suchen wir einen erfahrenen Infrastructure Engineer mit Schwerpunkt auf NVIDIA-Technologien, Kubernetes und containerisierten KI-Anwendungen.

Du übernimmst eine zentrale Rolle bei der technischen Inbetriebnahme der GPU-Systeme und stellst sicher, dass diese zuverlässig für LLM-Inference ebenso wie für allgemeine CUDA-Workloads genutzt werden können. Dabei stehen ein sicherer On-Premise-Betrieb, effizientes Ressourcenmanagement und eine stabile Integration in die bestehende Plattformlandschaft im Mittelpunkt.

• Technische Inbetriebnahme und Konfiguration von GPU-basierten Rechenressourcen
• Einrichtung und Optimierung des NVIDIA-Treiber- und CUDA-Stacks
• Integration der GPU-Systeme in bestehende Container- und Kubernetes-Umgebungen
• Einsatz und Konfiguration des NVIDIA GPU Operators
• Konzeption und Umsetzung einer geeigneten GPU-Ressourcenverteilung
• Bewertung und Implementierung von NVIDIA Multi-Instance GPU (MIG)
• Prüfung weiterer Verfahren für GPU-Sharing, Scheduling und Ressourcensteuerung
• Sicherstellung der Nutzung der Infrastruktur für native CUDA-Anwendungen
• Aufbau und Konfiguration von LLM-Serving-Infrastrukturen
• Arbeit mit Technologien wie vLLM, NVIDIA Triton oder TGI
• Integration von KI-/LLM-Diensten in bestehende Unternehmens- und Fachanwendungssysteme
• Unterstützung bei der technischen Anbindung SAP-basierter Verfahren
• Aufbau bzw. Anpassung von Netzwerk-, Storage- und Sicherheitskomponenten
• Einrichtung grundlegender Monitoring- und Observability-Funktionen
• Umsetzung geeigneter Zugriffs- und Sicherheitsmechanismen
• Unterstützung bei der Härtung containerisierter KI-Anwendungen
• Analyse und Behebung technischer Probleme im Plattformbetrieb
• Erstellung technischer Dokumentationen und Betriebsunterlagen
• Wissenstransfer an interne Infrastruktur-, Plattform- und Betriebsteams

• Technische Inbetriebnahme und Konfiguration von GPU-basierten Rechenressourcen
• Einrichtung und Optimierung des NVIDIA-Treiber- und CUDA-Stacks
• Integration der GPU-Systeme in bestehende Container- und Kubernetes-Umgebungen
• Einsatz und Konfiguration des NVIDIA GPU Operators
• Konzeption und Umsetzung einer geeigneten GPU-Ressourcenverteilung
• Bewertung und Implementierung von NVIDIA Multi-Instance GPU (MIG)
• Prüfung weiterer Verfahren für GPU-Sharing, Scheduling und Ressourcensteuerung
• Sicherstellung der Nutzung der Infrastruktur für native CUDA-Anwendungen
• Aufbau und Konfiguration von LLM-Serving-Infrastrukturen
• Arbeit mit Technologien wie vLLM, NVIDIA Triton oder TGI
• Integration von KI-/LLM-Diensten in bestehende Unternehmens- und Fachanwendungssysteme
• Unterstützung bei der technischen Anbindung SAP-basierter Verfahren
• Aufbau bzw. Anpassung von Netzwerk-, Storage- und Sicherheitskomponenten
• Einrichtung grundlegender Monitoring- und Observability-Funktionen
• Umsetzung geeigneter Zugriffs- und Sicherheitsmechanismen
• Unterstützung bei der Härtung containerisierter KI-Anwendungen
• Analyse und Behebung technischer Probleme im Plattformbetrieb
• Erstellung technischer Dokumentationen und Betriebsunterlagen
• Wissenstransfer an interne Infrastruktur-, Plattform- und Betriebsteams

• Deutsch: Verhandlungssicher
• Englisch: Erweiterte Kenntnisse