Senior Research Engineer - Applied LLM Systems (m/w/d)

Ascléa GmbH; Berlin; Remote; EUR 90,000 - 120,000; Full time

Job summary

Ascléa GmbH in Berlin sucht einen Senior Research Engineer für Applied LLM Systems (m/w/d). Du strukturierst offene technische Fragestellungen, wählst sinnvolle Lösungswege aus und entwickelst Evaluationen für Modelle, Prompts und Pipelines.

Du setzt die vielversprechendsten Ansätze um, schreibst sauberen Python-Code und prüfst Ergebnisse kritisch, damit das Kernteam diese übernehmen kann. Du arbeitest eng mit dem CPO und dem Entwicklungsteam zusammen; Remote-first mit Bürooption in Berlin.

Qualifications

• Mindestens fünf Jahre eigenständige Arbeit an anspruchsvollen technischen Problemen
• Guter, strukturierter Python-Code, der weiterentwickelt werden kann
• Praktische Erfahrung mit großen Sprachmodellen und deren Evaluation
• Methodisches Arbeiten: Hypothesen, Messen, Ergebnisse kritisch prüfen und dokumentieren
• Fähigkeit, Ergebnisse quantitativ zu interpretieren und belastbar zu bewerten

Responsibilities

• Strukturieren: klare Abgrenzung offener technischer Fragestellungen.
• Ansätze auswählen: Stand der Technik prüfen und Lösungswege identifizieren.
• Evaluieren: Modelle, Prompts und Pipelines evaluieren und Datensätze/Metriken prüfen.
• Umsetzen: vielversprechende Ansätze implementieren und Code übergeben.
• Ergebnisse einordnen: Ergebnisse aufbereiten für fundierte Produktentscheidungen

Skills

Python

LLM Evaluation

Data Analysis

Experimentelles Design

Education

Promotion vorteilhaft

Tools

Claude

Gemini

PyTorch

Jupyter

Job description

Engineering

• Vollzeit
• Remote-first (Berlin)

Senior Research Engineer - Applied LLM Systems (m/w/d)

Wer wir sind

Ascléa entwickelt souveräne KI-Lösungen für Krankenhäuser. Wir sind ein ISO 13485-zertifizierter Medizinproduktehersteller und bringen mehrere Jahre Erfahrung mit MDR-zertifizierten Produkten zur klinischen Entscheidungsunterstützung mit.

Mit unserer Plattform Clé geben wir Klinikmitarbeitenden sicheren und kontrollierten Zugang zu Sprachmodellen, klinischem Wissen und KI-gestützten Workflows. Darauf bauen wir schrittweise ein agentisches Cockpit für den Klinikbetrieb auf.

Worum es geht

Bei der Entwicklung und Einführung von Clé stoßen wir regelmäßig auf technische Fragen, die mehr brauchen als eine schnelle Antwort: Welcher Ansatz funktioniert zuverlässig? Wie messen wir das sinnvoll? Ist Sprachmodell A tatsächlich besser als B oder sieht es nur in einem Benchmark so aus? Und wann ist eine Lösung gut genug, um sie produktiv einzusetzen? Du übernimmst solche Themen weitgehend eigenständig und bearbeitest sie methodisch sauber und mit der nötigen Tiefe: von der Präzisierung der Fragestellung über die Auswahl und Untersuchung geeigneter Ansätze bis hin zu Evaluation und Experimenten. Am Ende stehen belastbare Ergebnisse, klare Entscheidungen und Implementierungen, auf denen das Kernteam direkt aufbauen kann.

Dabei arbeitest du eng mit unserem Chief Product Officer und dem Entwicklungsteam zusammen. Innerhalb einer Fragestellung hast du viel Freiheit darin, wie du an das Problem herangehst, welche Ansätze du untersuchst und welche du auf Basis der Ergebnisse wieder verwirfst. Welche Ergebnisse anschließend in welcher Form ins Produkt einfließen, entscheiden wir gemeinsam.

Was du tust

• Strukturieren: Du machst aus einer offenen technischen Frage ein klar abgegrenztes Problem und definierst, woran sich eine gute Lösung messen lässt.
• Ansätze auswählen: Du arbeitest dich in den Stand der Technik ein, identifizierst sinnvolle Lösungswege und entscheidest eigenständig, welche davon du vertieft untersuchst.
• Evaluieren: Du entwickelst Evaluationen für Modelle, Prompts und Pipelines und prüfst kritisch, ob Datensätze, Metriken und Versuchsaufbauten tatsächlich die Frage beantworten, die uns interessiert.
• Umsetzen: Du entwickelst und testest die vielversprechendsten Ansätze und schreibst Code so, dass das Kernteam ihn übernehmen und weiterentwickeln kann.
• Ergebnisse einordnen: Du bereitest deine Ergebnisse so auf, dass daraus eine fundierte Produktentscheidung getroffen werden kann: Was funktioniert, wie belastbar ist das Ergebnis, welcher Aufwand ist damit verbunden und welche Risiken oder offenen Fragen bleiben?

Was du mitbringst

• Du arbeitest seit mindestens fünf Jahren eigenständig an anspruchsvollen technischen Problemen - als Engineer, Data Scientist, in der angewandten Forschung oder in einer vergleichbaren Rolle.
• Du schreibst guten, strukturierten Python-Code, den andere verstehen, übernehmen und weiterentwickeln können.
• Du hast praktische Erfahrung mit großen Sprachmodellen und insbesondere mit ihrer Evaluation. Du hast selbst Tests und Evaluationsverfahren entwickelt und weißt, wie stark Ergebnisse von Datensätzen, Metriken und Versuchsaufbauten abhängen können.
• Du arbeitest methodisch: Hypothesen formulieren, messen, Ergebnisse kritisch prüfen und nachvollziehbar dokumentieren gehört für dich selbstverständlich dazu. Eine Promotion kann dafür ein guter Hintergrund sein, ist aber keine Voraussetzung. Vergleichbare Erfahrung in eigenständiger technischer oder wissenschaftlicher Arbeit ist genauso relevant.
• Du kannst quantitative Ergebnisse sicher interpretieren und einschätzen, wie belastbar ein Vergleich oder eine Evaluation tatsächlich ist. In neue statistische oder methodische Verfahren arbeitest du dich bei Bedarf selbstständig ein.

Nicht jeder Punkt trifft auf dich zu? Wenn deine bisherige Arbeit zeigt, dass du offene technische Probleme selbstständig strukturieren und zu belastbaren Ergebnissen bringen kannst, freuen wir uns trotzdem über deine Bewerbung.

Wie wir arbeiten

• Remote-first, mit Büros in Berlin-Mitte und Charlottenburg.
• Ein kleines Team mit viel Eigenverantwortung und kurzen Entscheidungswegen.
• Agentic Coding mit Tools wie Claude und Gemini gehört bei uns zum normalen Entwicklungsalltag.
• Gutes Englisch reicht für die Arbeit bei uns aus. Deutschkenntnisse sind willkommen, aber keine Voraussetzung.
• Ein MDR-erfahrenes Umfeld, in dem die entwickelten Systeme tatsächlich in Krankenhäusern eingesetzt werden und entsprechend zuverlässig funktionieren müssen.