Senior AI Platform Engineer- LLM & Agents (m/w/d)

Neurawork; Deutschland; Remote; EUR 90,000 - 130,000; Full time

Benefits offered by this job

Voll-remote aus Deutschland

Flexible Arbeitszeiten

Monatliche Team-Tage im Münchner Büro

Weiterbildungsmöglichkeiten

Job summary

NeuraPlox entwickelt eine AI-Agent-Plattform für Enterprise-Kunden im DACH-Raum und legt besonderen Wert auf Explainability, Auditability und Retrieval auf Millionen von Vektoren pro Tenant. Als Senior AI Platform Engineer verantwortest du die Kernarchitektur, treibst das AI-Engineering maßgeblich voran und arbeitest eng mit dem Founding-Team zusammen.

Du bringst 5+ Jahre Production-Experience mit Python mit, betreibst LLMs in Produktion und bist versiert in RAG, Retrieval-Tuning und Re-Ranking,

Qualifications

• Mehr als 5 Jahre Software-Engineering mit Python in Produktion
• Gute Erfahrung mit LLMs in Produktion (Tokens, Latenz, Kosten, Evals)
• Erfahrung mit RAG-Systemen, Retrieval-Tuning und Re-Ranking
• Erfahrung mit Agent-Frameworks wie LangGraph, PydanticAI oder vergleichbar
• Sehr gutes Deutsch und gutes Englisch im Enterprise-DACH-Umfeld

Responsibilities

• Aufbau einer produktionsreifen AI-Agent-Plattform basierend auf modernen Frameworks (PydanticAI, Langfuse)
• Entwicklung eines Multi-Tenant-Token-Quota-Services und Eval-Frameworks pro Tenant
• Integration des MCP-Context Protocol in Architekturen
• Sicherstellen Auditierbarkeit von Prompt bis Output für Fachbereiche und Aufsicht
• Treffen von Architektur-Entscheidungen unter Berücksichtigung Banken-, Versicherungs- und Pharma-Umfelds

Skills

Deutschkenntnisse

Englischkenntnisse

Python

Teamarbeit

Tools

PydanticAI

LangGraph

LiteLLM

Langfuse

Kubernetes

Job description

NeuraPlox baut eine AI-Agent-Plattform für Enterprise-Kunden aus Banken, Versicherungen und Pharma. Unsere Kunden müssen ihre KI-Outputs nicht nur erklären wollen, sondern erklären können: gegenüber Aufsicht, Audit und eigenen Fachbereichen. Deshalb bauen wir explainable AI mit Audit-Lineage, Decision-Provenance und Retrieval, das auch bei Millionen von Vektoren pro Tenant sauber funktioniert.

Wir sind ein investor-backed Startup mit einem kleinen Team, in dem jede Entscheidung sichtbar Wirkung hat. Als Senior AI Platform Engineer verantwortest du die Agent-Architektur, also den Kern unseres Produkts, und baust das AI-Engineering bei uns entscheidend mit auf.

Aufgaben

Was Du bei uns machst

• Eine produktionsreife AI-Agent-Plattform auf Basis von PydanticAI, LiteLLM und Langfuse
• Einen Multi-Tenant-Token-Quota-Service und Eval-Frameworks pro Tenant
• MCP-Tool-Integration (Model Context Protocol) als fester Bestandteil der Architektur
• Lückenlose Auditierbarkeit von Prompt bis Output, damit Entscheidungen für Fachbereich und Aufsicht nachvollziehbar sind
• Architektur-Entscheidungen, die auch im Bank-, Versicherungs- und Pharma-Umfeld bestehen

Wie wir arbeiten

Eval-driven: Jeder Agent-Change läuft durch eine Eval-Suite, bevor er live geht.

ADRs: Relevante Architektur-Entscheidungen werden dokumentiert, nicht im Slack-Thread vergraben.

Gemessen statt geraten: LLM-Calls sind ab Tag eins in Langfuse sichtbar, inklusive Kosten und Latenz.

Empirisch: Re-Ranking, pgvector-Sizing und Retrieval-Qualität entscheiden wir auf Basis von Daten.

Kurze Wege: Direkter Draht zum Founding-Team, keine Projektmanagement-Ebene dazwischen.

Was wir suchen

• 5+ Jahre Software-Engineering mit Python in Produktion
• Erfahrung mit LLMs in Produktion: Tokens, Latenz, Kosten und Evals sind für dich Alltag
• RAG-Systeme, die du selbst gebaut und betrieben hast, inklusive Retrieval-Tuning und Re-Ranking
• Ein Agent-Framework wie LangGraph, PydanticAI oder vergleichbar im Produktiveinsatz
• Sehr gutes Deutsch und gutes Englisch, da du mit Enterprise-Kunden im DACH-Raum arbeitest

Ein Plus, aber kein Muss:

• Erfahrung mit LiteLLM, Langfuse oder MCP. Was du noch nicht kennst, lernst du bei uns schnell.
• pgvector-Sizing bei großen Datenmengen
• Kubernetes-Grundlagen
• Erfahrung mit regulatorischen Anforderungen wie EU AI Act, DORA, BaFin/MaRisk oder GxP

Was wir bieten

• Verantwortung ab Tag eins: Du prägst die Agent-Architektur, statt nur Prompts zu tunen, ohne Management-Layer über dir
• Direkter Draht: Du berichtest an Christoph Knöll (Founder/CEO) und arbeitest eng mit unserem Head of AI, mit kurzen Entscheidungswegen
• Flexibilität: Voll-remote mit Wohnsitz in Deutschland, flexible Arbeitszeiten, ca. einmal im Monat Team-Tage im Münchner Office
• Raum zum Testen: Moderner Stack und Zeit, neue Modelle, Frameworks und Retrieval-Ansätze ernsthaft zu evaluieren
• Fachlicher Austausch: Ein Team, das LLM-Systeme in Produktion betreibt und Entscheidungen auf Basis von Evals trifft
• Weiterentwicklung und Sichtbarkeit: Konferenzen, Schulungen und die Möglichkeit, als Experte nach außen aufzutreten, z. B. mit Talks oder Fachbeiträgen