Senior AI Platform Engineer - LLMOps (w/m/d)

Apleona Group

Deutschland

Remote

EUR 90,000 - 130,000

Full time

12 days ago

Get a reply from this employer

Your resume and cover letter, tailored to exactly what they’re hiring for.

Get past ATS filters

Job summary

Apleona GmbH ist auf der Suche nach einem Senior AI Platform Engineer - LLMOps, der KI-Anwendungen verlässlich live schickt und mit automatischen Qualitäts-Gates sowie Observability für Sprachmodelle arbeitet. Du gestaltest Plattformdienste, implementierst Canary-Releases und arbeitest eng mit dem IT-Plattformbetrieb zusammen.

Du bringst umfangreiche Erfahrung in TypeScript/Node.js, Python, Azure-Cloud, DevOps-SRE und governance-orientiertes Design mit, um KI-Lösungen sicher zu betreiben.

Qualifications

  • Mindestens 5 Jahre Softwareentwicklung, davon Erfahrung mit Sprachmodell-Anwendungen im Live-Betrieb.
  • CI/CD inklusive automatischen Test- und Freigabeprozessen aufgebaut.
  • Monitoring von Live-Anwendungen (Fehler, Latenz, Kosten).
  • Backend-Entwicklung in TypeScript/Node.js und Python.

Responsibilities

  • Release-Einheit einer KI-Anwendung: Prompts, Modellversion, Retrieval-Index, Tools, Guardrails und Policies.
  • Evaluations-Harness aufbauen: Referenzfälle, Metriken und Quality Gates.
  • Eval-gated CI/CD, Versionierung und gestufte Rollouts mit Canary und Rollback.
  • End-to-end-Observability: Tracing, Latenz und Kosten.
  • Geteilte Plattformdienste entwickeln und betreiben – in gemeinsamer Rufbereitschaft mit dem IT-Plattformbetrieb.

Skills

Softwareentwicklung
Sprachmodelle Live
CI/CD
Observability
TypeScript/Node.js
Python
Azure
DevOps/SRE
Englisch

Tools

Azure AI Foundry
promptfoo
Langfuse
Terraform
GitHub Actions
OpenTelemetry
Ragas

Job description

Stellen-ID: 27705


Verstärke unser Team und gestalte gemeinsam mit uns deine Zukunft! Wir – die Apleona GmbH– suchen für unseren Standort in Bundesweit Senior AI Platform Engineer - LLMOps (w/m/d) - JobID27705


Deine Mission:

Du sorgst dafür, dass unsere KI-Anwendungen geprüft und kontrolliert live gehen – und dort verlässlich bleiben. Mit automatischen Qualitätstests, sauberer Versionierung, schrittweisen Releases und durchgängigem Monitoring machst du aus vielversprechenden KI-Lösungen verlässliche Produkte.


Deine Perspektiven:


  • Schlüsselrolle für Vertrauen: Ohne deine Qualitäts-Gates geht keine KI-Lösung live

  • Plattformdenken:Du baust geteilte Dienste, die alle KI-Lösungen nutzen

  • State of the Art:eval-gated CI/CD, Canary-Releases und Observability für Sprachmodelle

  • Moderner Stack:Microsoft Azure, TypeScript/Node.js, Python und moderne Eval- und Observability-Werkzeuge

  • Gestaltungsspielraum:Du setzt die Qualitätsstandards für KI bei Apleona


Welche Aufgaben kommen auf Dich zu:


  • Verantwortung für die Release-Einheit einer KI-Anwendung: Prompts, Modellversion, Retrieval-Index, Tools, Guardrails und Policies

  • Evaluations-Harness aufbauen:Referenzfälle, Metriken und Quality Gates

  • Eval-gated CI/CD, Versionierung und gestufte Rollouts mit Canary und Rollback

  • End-to-end-Observability:Tracing, Latenz und Kosten

  • Geteilte Plattformdienste entwickeln und betreiben – in gemeinsamer Rufbereitschaft mit dem IT-Plattformbetrieb


Was Du mitbringen solltest:


  • Mindestens 5 Jahre Softwareentwicklung, davon Erfahrung mit Sprachmodell-Anwendungen im Live-Betrieb

  • Du hast automatische Test- und Freigabeprozesse (CI/CD) selbst aufgebaut, nicht nur genutzt

  • Du hast Monitoring für Live-Anwendungen eingerichtet (Fehler, Antwortzeiten, Kosten)

  • Backend-Entwicklung in TypeScript/Node.js und Python

  • Praxis auf einer großen Cloud (Azure bevorzugt, AWS oder Google Cloud) und Nähe zu DevOps/SRE

  • Englisch fließend, Deutsch von Vorteil

  • Nice to have:Guardrail- und Security-Design (Prompt Injection, Content Safety, Red Teaming), FinOps für Modellkosten (Token-Budgets, Modell-Routing), Azure AI Foundry Evaluation, Tools wie promptfoo, Ragas, Langfuse oder OpenTelemetry, Terraform, GitHub Actions

  • Ein Plus:KI-Betrieb mit Audit- und Compliance-Anforderungen (z. B. EU AI Act, ISO 27001), Plattformbetrieb mit mehreren tausend Nutzern im Konzern


Darauf kannst du dich freuen:


  • Eine zukunftssichere und anspruchsvolle Tätigkeit in einem professionellen Arbeitsumfeld, dasVielfalt und Gleichberechtigung fördert

  • Ein unbefristeter Arbeitsvertrag

  • Vorteile aus dem hauseigenen Tarifvertrag

  • 30 Tage Urlaub sowie Weihnachten- und Silvester frei

  • Die Möglichkeit zum mobilen Arbeiten

  • Familienfreundliche Personalpolitik, zur Unterstützung in verschiedenen Lebensphasen

  • Flexible Arbeitszeitmodelle für eine echte Work-Life-Balance

  • Exklusive Angebote für Mitarbeitende mit hochwertigen Sonderkonditionen für Produkte und Leistungen renommierter Hersteller und Marken

  • APLEONA - Weiterbildungsprogramme zur persönlichen und fachlichen Weiterentwicklung

  • Die Option auf Jobrad-Leasing, für Ihr persönliches Training oder den Weg zur Arbeit

  • Ein attraktives Mitarbeiter-werben-Mitarbeiter-Programm


Wir leben Vielfalt und Chancengleichheit. Wir freuen uns daher über alle qualifizierten Bewerbungen unabhängig von Geschlecht, ethnischer Herkunft, Religion, sexueller Orientierung, Alter oder etwaigen Beeinträchtigungen.


Ansprechpartner:

Dana Korpis


+4915254870507


Wir bitten Personalberater und -dienstleister von einer Kontaktaufnahme abzusehen. Die angegebenen Kontaktdaten sind ausschließlich für Bewerbende gedacht.

Get your free, confidential resume review.

or drag and drop your file here.

Similar jobs

Similar jobs worth comparing

Senior Software Architect - KI-Plattform (w/m/d)
Senior Software Architect - KI-Plattform (w/m/d)

Apleona Group • Germany

Remote
EUR 120,000 - 180,000
Unbefristeter Arbeitsvertrag
Tarifvertrag
30 Tage Urlaub
+5
Full-Stack Engineer - KI-Anwendungen (w/m/d)
Full-Stack Engineer - KI-Anwendungen (w/m/d)

Apleona Group • Germany

Remote
EUR 70,000 - 100,000
Unbefristeter Arbeitsvertrag
Mobiles Arbeiten
Tarifvertragliche Vorteile
+6
AI Engineer - GenAI & KI-Agenten(w/m/d)
AI Engineer - GenAI & KI-Agenten(w/m/d)

Apleona GmbH • Köln

On-site
EUR 90,000 - 120,000
Cloud Platform Engineer / SRE - KI-Plattform (w/m/d)
Cloud Platform Engineer / SRE - KI-Plattform (w/m/d)

Apleona Group • Germany

Remote
EUR 70,000 - 100,000
Junior Projektmanager International(w/m/d)
Junior Projektmanager International(w/m/d)

Apleona • Neu-Isenburg

Hybrid
EUR 42,000 - 60,000
Unbefristeter Vertrag
30 Tage Urlaub
Weihnachtsgeld
+5
IT Koordinator (w/m/d)
IT Koordinator (w/m/d)

Apleona Group • Birkenwerder

Hybrid
EUR 60,000 - 85,000
Unbefristeter Arbeitsvertrag
Mobiles Arbeiten möglich
29 Tage Urlaub
Key Account Engineer (w/m/d) - Technical Building Operations
Key Account Engineer (w/m/d) - Technical Building Operations

Apleona GmbH • Berlin

Hybrid
EUR 70,000 - 100,000
Dienstwagen
Betriebliche Altersvorsorge
30 Tage Urlaub
+5
IT Koordinator (w/m/d)
IT Koordinator (w/m/d)

Apleona GmbH • Birkenwerder, Berlin

Hybrid
EUR 55,000 - 75,000
Tarifvertrag
30 Tage Urlaub
Weihnachtsgeld
+2
Transformation Manager (w/m/d)
Transformation Manager (w/m/d)

Apleona GmbH • Berlin

On-site
EUR 90,000 - 140,000
Flache Hierarchien
Internationale Entwicklung
Flexible Arbeitszeiten
+2
Operation & Maintenance Manager (w/m/d) - Jobbird.com
Operation & Maintenance Manager (w/m/d) - Jobbird.com

Jobster • Frechen

On-site
EUR 70,000 - 95,000
Firmenwagen Privatnutzung
Betriebliche Altersvorsorge
Weiterbildungsprogramme
+1