KI Platform Engineer (m/w/d)

IVU Informationssyteme GmbH; Deutschland; Vor Ort; EUR 60.000 - 80.000; Vollzeit

Benefits dieser Stelle

Firmenfitness mit EGYM wellpass

Vielfältige Entwicklungsmöglichkeiten

Betriebliche Altersvorsorge

Mitarbeitendenrabatte

Attraktive Vergütung mit 13 Gehältern

Zusammenfassung

Ein Unternehmen für digitale Lösungen sucht einen KI Plattform Engineer (m/w/d). Sie sind verantwortlich für den Betrieb und das Deployment von Sprachmodellen auf einer stabilen und skalierbaren Plattform. Ideale Kandidaten bringen umfangreiche Erfahrung im Betrieb von produktiven Systemen und Expertise in Docker mit. Ihre Rolle umfasst auch Performance-Tuning und Hardware-Auswahl. Wir bieten Firmenfitness, Entwicklungsmöglichkeiten und eine attraktive Vergütung mit 13 Gehältern.

Qualifikationen

• Praxiserfahrung im Betrieb produktiver Systeme.
• Sehr gute Kenntnisse in Docker und Deployment-Workflows.
• Erfahrung mit vLLM oder SGLang für produktive Inferenz.
• Know-how im Performance-Tuning für Inferenz.
• Verständnis für Hardware-Auswahl und Kapazitätsplanung.
• Erfahrung mit API Gateways für nutzungsbasierte Begrenzungen.
• Erfahrung mit OpenWebUI oder vergleichbaren UI-Layern.

Aufgaben

• Verantwortung des Betriebs der LLM-Plattform.
• Planung und Umsetzung von Deployments von Sprachmodellen.
• Betrieb und Optimierung von Deployments.
• Analyse und Verbesserung der Performance auf Hardware.
• Konfiguration von Parametern und Serving-Einstellungen.

Kenntnisse

Docker

LLMOps

Performance-Tuning

API Gateways

Python

SQL

CI/CD

Teamfähigkeit

Analytisches Denken

Tools

Postgres

OpenWebUI

Jobbeschreibung

KI Plattform Engineer (m/w/d) – Betrieb & Deployment von Sprachmodellen

Wir suchen ab sofort eine/n KI Platform Engineer (m/w/d) für den Betrieb und das Deployment von Sprachmodellen.

Ihre Aufgaben

• Verantwortung des Betriebs unserer LLM-Plattform (LLMOps) – stabil, sicher, skalierbar und nachvollziehbar
• Planung und Umsetzung von Deployments und Rollouts von Sprachmodellen – containerbasiert mit Docker
• Betrieb und Optimierung von Deployments mit vLLM oder SGLang (Serving, Throughput, Latenz, Ressourcenverbrauch).
• Analyse und Verbesserung der Performance auf bestehender Hardware
• Unterstützung bei der Auswahl geeigneter Hardware für neue Modelle und steigende Last (Compute, Memory, GPU/CPU, Skalierung)
• Konfiguration von Parametern und Serving-Einstellungen anhand des gewünschten In-/Output-Verhaltens
• Konfiguration nutzungsbasierter Limitierungen über ein API Gateway (Rate Limits, Quotas, Auth, Policies)
• Einrichtung von OpenWebUI und Sicherstellen eines laufenden Betriebes
• Monitoring und Observability für den LLM-Betrieb

Das bringen Sie mit

• Praxiserfahrung im Betrieb produktiver Systeme (nicht nur „Basteleien“) – idealerweise in Plattform-/Ops-/SRE-nahen Rollen
• Sehr gute Kenntnisse in Docker sowie in Betriebs- und Deployment-Workflows
• Erfahrung mit vLLM oder SGLang (oder vergleichbaren LLM-Serving-Stacks) für produktive Inferenz
• Know-how im Performance-Tuning für Inferenz, inklusive Quantisierung und Optimierung auf vorhandener Hardware
• Verständnis für Hardware-Auswahl und Kapazitätsplanung für LLM-Workloads
• Vertraut mit API Gateways für nutzungsbasierte Begrenzungen (Rate Limiting, Quotas, Policies)
• Erfahrung mit OpenWebUI (Betrieb, Einrichtung, Wartung) oder vergleichbaren UI-/Access-Layern
• Sicherer Umgang mit einem Python-basierten Stack, idealerweise mit Postgres sowie Berührungspunkte mit Oracle in Bestandssystemen
• SQL-Grundlagen (Abfragen, Analyse, einfache Optimierungen)
• Sichere Git sowie CI/CD Kenntnisse (Pipelines, Releases, sauberes Branching, Automatisierung)
• Grundkenntnisse im Fine-Tuning von LLMs (Begriffe, typische Verfahren/Workflows, Risiken/Trade-offs)
• Teamfähigkeit, Anaytisches Denken, EIgenverantwortung und eine strukturierte Arbeitsweise

Wer wir sind

Wir sind Digitaldenker für die Versorgung von morgen und qualifizieren Energieversorger für die Transformation im Energiemarkt. Dafür bieten wir ganzheitliche IT-Systemlösungen aus einer Hand, die auf die individuellen Anforderungen und Mittel unserer Kunden angepasst sind. Implementierung, ganzheitliche Beratung, Betreuung und Kompetenzvermittlung stehen dabei im Fokus.

Benefit-Paket

• Firmenfitness mit EGYM wellpass
• Vielfältige Entwicklungsmöglichkeiten
• Betriebliche Altersvorsorge & vermögenswirksame Leistungen
• Mitarbeitendenrabatte
• Eine attraktive Vergütung mit 13 Gehältern

Wir haben Ihr Interesse geweckt? Unser kleines, aber hoch motiviertes Team wartet auf Sie!
Wir freuen uns auf Ihre Bewerbung inklusive Nennung Ihres frühestmöglichen Eintrittstermins und Ihrer Gehaltsvorstellung.