LLMOps Engineer – Model Serving & Evaluation

Emos Software GmbH

München, Berlin, Frankfurt, Stuttgart

À distance

EUR 95 000 - 140 000

Plein temps

Il y a 8 jours

Obtenez une réponse de cet employeur

Votre CV et votre lettre de motivation, adaptés exactement à ce que l’employeur recherche.

Passez les filtres ATS

Résumé du poste

EMOS Software GmbH in München sucht eine:n LLMOps Engineer – Model Serving & Evaluation, der LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreibt. Im Fokus stehen belastbare Lösungen, nachvollziehbare Entscheidungen und enge Zusammenarbeit mit Fachbereichen sowie Engineering-Teams.

Du bringst fundierte Erfahrung in Python, Kubernetes, Docker, OpenTelemetry, Prometheus/Grafana und CI/CD mit, kennst vLLM oder ähnliche Serving-Stacks und planst GPU-Ressourcen.

Qualifications

  • Praxis mit Python, Kubernetes, Docker und API-basiertem Model Serving.
  • Erfahrung mit OpenTelemetry, Prometheus/Grafana und CI/CD.
  • Kenntnisse in vLLM oder vergleichbaren Serving-Stacks sowie GPU-Ressourcenplanung.
  • Verständnis für Secrets, RBAC, PII-Redaktion und Auditierbarkeit.
  • Erfahrung mit strukturiertem Debugging, Versionsverwaltung und interdisziplinärer Zusammenarbeit.

Responsabilités

  • Modell-Gateways, Rate Limits, Routing, Caching und Fallback-Strategien implementieren
  • Evaluationen und Regressionstests für Prompts, Modelle und Tool-Aufrufe automatisieren
  • Telemetry für Tokenverbrauch, Antwortlatenz, Fehlerquoten und Qualitätsmetriken aufbauen
  • Deployment- und Rollback-Prozesse für Modell- und Prompt-Versionen definieren
  • Bestehende Lösungen analysieren, Risiken dokumentieren und Verbesserungen priorisieren
  • Implementierungen mit automatisierten Tests, Testdaten und Code-Reviews absichern
  • Fehlerbilder aus Logs, Metriken und Laufzeitverhalten untersuchen; Gegenmaßnahmen festhalten

Connaissances

Python
Kubernetes
Docker
API-basiertes Serving
OpenTelemetry
Prometheus Grafana
CI/CD
vLLM

Outils

Prometheus
Grafana

Description du poste

KARRIERE / AI PLATFORM


LLMOps Engineer – Model Serving & Evaluation

LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben.


München · Berlin · Frankfurt · Stuttgart


Beschäftigungsform in Abstimmung


EMOS Software GmbH


DEINE AUFGABE


Woran du bei EMOS arbeitest.

LLM-Workloads sicher, messbar und kosteneffizient in Produktion betreiben. Im Mittelpunkt stehen belastbare Lösungen, nachvollziehbare technische Entscheidungen und die Zusammenarbeit mit Fachbereichen sowie Engineering-Teams.



  • Modell-Gateways, Rate Limits, Routing, Caching und Fallback-Strategien implementieren

  • Evaluationen und Regressionstests für Prompts, Modelle und Tool-Aufrufe automatisieren

  • Telemetry für Tokenverbrauch, Antwortlatenz, Fehlerquoten und Qualitätsmetriken aufbauen

  • Deployment- und Rollback-Prozesse für Modell- und Prompt-Versionen definieren

  • Bestehende Lösungen analysieren, technische Risiken dokumentieren und Verbesserungen entlang konkreter Akzeptanzkriterien priorisieren.

  • Implementierungen mit geeigneten automatisierten Tests, reproduzierbaren Testdaten und Code-Reviews absichern.

  • Fehlerbilder aus Logs, Metriken und Laufzeitverhalten untersuchen; Ursachen und Gegenmaßnahmen nachvollziehbar festhalten.


DEIN PROFIL


Was fachlich gut passt.

Langjährige Erfahrung ist willkommen. Entscheidend sind belastbare technische Grundlagen, Lernbereitschaft und ein professioneller Umgang mit anspruchsvollen Kundensystemen.



  • Praxis mit Python, Kubernetes, Docker und API-basiertem Model Serving

  • Erfahrung mit OpenTelemetry, Prometheus/Grafana und CI/CD

  • Kenntnisse in vLLM oder vergleichbaren Serving-Stacks sowie GPU-Ressourcenplanung

  • Verständnis für Secrets, RBAC, PII-Redaktion und Auditierbarkeit

  • Erfahrung mit strukturiertem Debugging, Versionsverwaltung und der Zusammenarbeit in interdisziplinären Teams.

  • Fähigkeit, technische Entscheidungen verständlich zu begründen und die Qualität anhand konkreter Kriterien zu überprüfen.


TECHNISCHES UMFELD: Python · Kubernetes · vLLM · OpenTelemetry · Prometheus · CI/CD


ZUSAMMENARBEIT & QUALITÄT


Wie du Wirkung erzielst.

In dieser Rolle geht es nicht nur um einzelne Technologien. Du arbeitest an nachvollziehbaren Ergebnissen: Anforderungen klären, Lösungen technisch sauber umsetzen, Risiken früh erkennen und die Übergabe an Betrieb oder andere Teams absichern.


Für die Position LLMOps Engineer – Model Serving & Evaluation sind insbesondere dokumentierte Schnittstellen, transparente Reviews, automatisierte Qualitätssicherung und ein bewusster Umgang mit produktiven Systemen relevant. Das konkrete Projektumfeld wird im Gespräch erläutert.


RAHMENBEDINGUNGEN


Was die aktuelle EMOS-Ausschreibung vorsieht.

München · Berlin · Frankfurt · Stuttgart – ausgeschriebener Standort


Noch abzustimmen – mit gleitender Arbeitszeit


Noch abzustimmen – Beschäftigungsform


Noch abzustimmen – beim Kunden, Inhouse bzw. Remote


Gehaltsmodell: fair und nach Vereinbarung. Konkreter Projekteinsatz und weitere Rahmenbedingungen werden im Bewerbungsprozess abgestimmt.

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.

Similar jobs

Postes similaires à comparer

AI Engineer – Enterprise RAG & LLM Applications
AI Engineer – Enterprise RAG & LLM Applications

Emos Software GmbH • Frankfurt

Hybride
EUR 90 000 - 130 000
AI Security Engineer – LLM & Agent Security
AI Security Engineer – LLM & Agent Security

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

À distance
EUR 90 000 - 120 000
AI-assisted Test Engineer – Playwright & Quality Gates
AI-assisted Test Engineer – Playwright & Quality Gates

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

Hybride
EUR 65 000 - 90 000
Legacy Modernization Engineer – COBOL, APIs & Strangler Pattern
Legacy Modernization Engineer – COBOL, APIs & Strangler Pattern

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

Hybride
EUR 70 000 - 105 000
Systems Engineer – Windows, Linux & Hybrid Infrastructure
Systems Engineer – Windows, Linux & Hybrid Infrastructure

Emos Software GmbH • Frankfurt

Hybride
EUR 70 000 - 100 000
Network Security Engineer – Firewall & SASE
Network Security Engineer – Firewall & SASE

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

À distance
EUR 70 000 - 110 000
IT Service Management Engineer – IT Operations & Automation
IT Service Management Engineer – IT Operations & Automation

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

Hybride
EUR 60 000 - 90 000
SOC Detection Engineer – SIEM & Threat Hunting
SOC Detection Engineer – SIEM & Threat Hunting

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

À distance
EUR 70 000 - 90 000
Test Automation Architect – API, Contract & Integration Testing
Test Automation Architect – API, Contract & Integration Testing

Emos Software GmbH • Frankfurt

Hybride
EUR 90 000 - 125 000
Frontend Engineer – Design Systems & Accessibility
Frontend Engineer – Design Systems & Accessibility

Emos Software GmbH • München, Berlin, Frankfurt, Stuttgart

Hybride
EUR 65 000 - 95 000