Platform Engineer (m/w/d) LLMOps/AI Infrastructure

United States Digital Space LLC; Berlin; Vor Ort; EUR 90.000 - 130.000; Vollzeit

Benefits dieser Stelle

30 Tage Urlaub

Flexibles Arbeiten

Mobile Arbeiten bis 3 Tage/Woche

Workation in Europa

Kita-/Hort-Zuschuss

Betriebliche Altersvorsorge

Vermögenswirksame Leistungen

Dienstrad-Leasing

Zusammenfassung

Verlag GmbH in Berlin sucht eine/n Platform Engineer (m/w/d) für LLMOps/AI Infrastructure in Vollzeit. Du betreibst unseren LiteLLM-basierten Proxy, gewährleistest zuverlässigen Zugang zu Azure OpenAI, AWS Bedrock und anderen Anbietern und führst das Gateway als produktionskritischen Dienst.

Du definierst SLOs, Datenschutzrichtlinien und berätst Produktteams frühzeitig zu Modell- und Integrationsmustern. Du dokumentierst Best Practices, unterstützt Onboarding und schaffst klare, verständliche

Qualifikationen

• Du bringst praktische Erfahrung im Betrieb eines LLM-Proxys/Gateways in Produktion mit – LiteLLM stark bevorzugt oder eine vergleichbare Lösung.
• Du besitzt solide Kubernetes-Kenntnisse und bist mit mindestens einer Cloud-Plattform (Azure, AWS oder GCP) vertraut.
• Du bist mit Azure OpenAI, AWS Bedrock oder vergleichbaren Modellanbietern vertraut.
• Du hast eine echte Beratungsmentalität – du hilfst anderen Engineers gern zum Erfolg und kannst ohne formale Weisungsbefugnis überzeugen.
• Du bringst die Fähigkeit mit, technische Abwägungen klar an Produktteams und nicht-technische Stakeholder zu vermitteln.
• Du hast ausgeprägte Fähigkeiten in Dokumentation und Wissensvermittlung.
• Du besitzt Erfahrung mit Observability-Tooling, idealerweise Langfuse oder einem ähnlichen Tracing- und Monitoring-Stack.
• Sehr gute Deutsch- und Englischkenntnisse runden dein Profil ab.

Aufgaben

• Du betreibst und entwickelst unseren LiteLLM-basierten LLM-Proxy kontinuierlich weiter und stellst Produktteams zuverlässigen, konsistenten Zugang zu LLM-Anbietern bereit.
• Du betreibst das Gateway als produktionskritischen Service, definierst SLOs, Provider-Failover und Rate-Limiting und übernimmst die Leitung im Incident Response.
• Du stellst den Datenschutz am Gateway sicher – DSGVO-konformes Routing, EU-Datenresidenz, klare Grenzen der Auftragsverarbeitung durch Anbieter sowie den Umgang mit personenbezogenen Daten.
• Du beratst Produktteams frühzeitig zu Modellauswahl, Integrationsmustern und Prompt-Strategien.
• Du erstellst klare, praxisnahe Entwickler*innen-Dokumentation und Best-Practice-Beispiele.
• Du bist erste Ansprechperson für Produktteams, die mit LLMs arbeiten.
• Du etablierst zentrale Observability für LLM- und Agent-Anwendungen, einschließlich Tracing, Logging und Monitoring über Langfuse.

Kenntnisse

Kubernetes

Cloud-Plattformen (Azure/AWS/GCP)

Azure OpenAI / Modellanbieter

Langfuse

Beratungsfähigkeit

Dokumentation

Englisch

Tools

Langfuse

Jobbeschreibung

the company Verlag GmbH

Präsenz / Mobil

Berufserfahrung

Software Entwicklung

Vollzeit

Unbefristet

Die the company Gruppe mit Hauptsitz in Berlin zählt mit Marken wie the company, Duden, the company Experimenta sowie Veritas und dem Verlag an der Ruhr seit 80 Jahren zu den führenden Anbietern auf dem deutschsprachigen Bildungsmarkt. Mit über 1.600 Mitarbeiter*innen entwickeln wir innovative crossmediale Bildungslösungen von der frühen Kindheit bis ins Erwachsenen- und Berufsleben. Gemeinsam gestalten wir die Bildung von morgen und leisten einen sinnvollen Beitrag in einem Umfeld mit hoher gesellschaftlicher Relevanz.

Bei uns kannst du etwas bewegen und dein Potenzial entfalten. Werde Teil unseres Teams!

Für unser Team Apps suchen wir am Standort Berlin unbefristet in Vollzeit zum nächstmöglichen Zeitpunkt eine*n Platform Engineer (m/w/d) LLMOps/AI Infrastructure.

Deine Aufgaben

Du betreibst und entwickelst unseren LiteLLM-basierten LLM-Proxy kontinuierlich weiter und stellst Produktteams zuverlässigen, konsistenten Zugang zu LLM-Anbietern (Azure OpenAI, AWS Bedrock u. a.) bereit

Du betreibst das Gateway als produktionskritischen Service, definierst SLOs, Provider-Failover und Rate-Limiting und übernimmst die Leitung im Incident Response

Du stellst den Datenschutz am Gateway sicher – durch DSGVO-konformes Routing, EU-Datenresidenz, klare Grenzen der Auftragsverarbeitung durch Anbieter sowie den Umgang mit personenbezogenen Daten – und behältst die für KI im Bildungsbereich relevanten Vorgaben des EU AI Act im Blick

Du berätst Produktteams frühzeitig zu Modellauswahl, Integrationsmustern und Prompt-Strategien und bringst dich ein, bevor Probleme in Produktion gelangen

Du erstellst klare, praxisnahe Entwickler*innen‑dokumentation und Best‑Practice‑Beispiele und unterstützt Teams beim Onboarding und in der täglichen Nutzung der Plattform

Du bist erste Ansprechperson für Produktteams, die mit LLMs arbeiten

Du etablierst zentrale Observability für LLM- und Agent-Anwendungen, einschließlich Tracing, Logging und Monitoring über Langfuse

Dein Profil

Du bringst praktische Erfahrung im Betrieb eines LLM-Proxys / Gateways in Produktion mit – LiteLLM stark bevorzugt oder eine vergleichbare Lösung

Du besitzt solide Kubernetes‑Kenntnisse und bist mit mindestens einer Cloud‑Plattform (Azure, AWS oder GCP) vertraut

Du bist mit Azure OpenAI, AWS Bedrock oder vergleichbaren Modellanbietern vertraut

Du hast eine echte Beratungsmentalität – du hilfst anderen Engineers gern zum Erfolg und kannst ohne formale Weisungsbefugnis überzeugen

Du bringst die Fähigkeit mit, technische Abwägungen klar an Produktteams und nicht-technische Stakeholder zu vermitteln

Du hast ausgeprägte Fähigkeiten in Dokumentation und Wissensvermittlung

Du besitzt Erfahrung mit Observability‑Tooling, idealerweise Langfuse oder einem ähnlichen Tracing‑ und Monitoring‑Stack

Sehr gute Deutsch‑ und Englischkenntnisse runden dein Profil ab

Unser Angebot

• Gestalte die Zukunft der Bildung in einem sinnstiftenden Umfeld
• Erlebe optimale Work-Life-Balance mit 30 Tagen Urlaub und flexiblen Arbeitszeiten
• Arbeite flexibel mobil bis zu 3 Tage pro Woche und genieße bis zu 20 Tage Workation in Europa (EWR) pro Jahr
• Arbeite agil in dynamischen und crossfunktionalen Teams
• Stärke deine Gesundheit und dein Wohlbefinden mit den Angeboten von evermood und Wellhub
• Profitiere von attraktiven Vorteilen wie Kita‑ und Hort‑Zuschuss, Rabatten auf Bücher, betrieblicher Altersvorsorge und vermögenswirksamen Leistungen
• Setze auf nachhaltige Mobilität mit Dienstrad‑Leasing und reduziertem Deutschlandticket – gut für dich und unsere Umwelt
• Genieße biologisch‑regionales Essen in unserer hauseigenen Kantine bei gemeinsamen Mittagessen mit deinen Kolleg*innen
• Entfalte dein Potenzial durch persönliche und fachliche Entwicklungsmöglichkeiten (Weiterbildungen, Fachkonferenzen, E-Learnings & Networking)
• Erlebe starken Teamgeist bei Sportveranstaltungen, Events und Mitarbeiter*innenfesten

EEO‑Statement

the company setzt sich für Chancengleichheit, Vielfalt und Integration am Arbeitsplatz ein. Wir unterbinden Diskriminierung und Belästigung jeder Art aufgrund von Geschlecht, Hautfarbe, Religion, sexueller Orientierung, Herkunft, Behinderung, geschlechtlicher Identität oder anderen geschützten Merkmalen. Wir erwarten daher kein Foto von dir und freuen uns, wenn du nicht auf geschützte Merkmale verweist.

[e-mail]