Senior AI Evaluation Engineer – LLMs & Multimodal

StudySmarter; Schaffhausen; Vor Ort; CHF 60.000 - 73.000; Vollzeit

Zusammenfassung

StudySmarter in Schaffhausen sucht eine erfahrene Fachkraft, um Evaluationsumgebungen für Frontier-Modelle zu entwerfen und zu implementieren. Sie arbeiten an LLMs, multimodalen Systemen und liefern auditable Signale für Release-Entscheidungen.

Sie bauen robuste Pipelines, führen statistische Analysen durch und arbeiten eng mit Forschung, Training und Kundenteams zusammen. Mindestens 6 Jahre Praxis, Erfahrung mit Open-Source-Frameworks und Low-Precision-Inferenz runden das Profil ab.

Qualifikationen

• 6+ Jahre praktische Erfahrung mit LLMs und Bewertung großer Sprachmodelle oder multimodaler Systeme.
• Starke statistische Grundlagen: Versuchsplanung, Signifikanztests, Regressionsanalyse.
• Nachweisbare Erfahrung beim Aufbau von Evaluationsinfrastrukturen (Pipelines, Benchmark-Harnesses, reproduzierbare CI).

Aufgaben

• Design entscheidungsreife Evaluationsumgebungen für Frontier-Modelle (Reasoning, multimodal, long-context, agentic).
• Forschung & Entwicklung neuer Evaluierungsmethoden für neue Modellfamilien.
• Aufbau und Betrieb von Evaluationsinfrastrukturen und Pipelines (Benchmark-Umgebungen, Regression CI, statistische Werkzeuge).
• Zusammenarbeit mit Modellforschung, Training und Kunden, um Signale in Release-Entscheidungen umzusetzen.

Kenntnisse

LLM evaluation

Statistical methods

Experimental design

Regression analysis

Kommunikation

Cross-functional collaboration

Open-source eval frameworks

Low-precision inference

Problemlösung

Tools

CI/CD pipelines

Jobbeschreibung

StudySmarter in Schaffhausen sucht eine erfahrene Fachkraft, um Evaluationsumgebungen für Frontier-Modelle zu entwerfen und zu implementieren. Sie arbeiten an LLMs, multimodalen Systemen und liefern auditable Signale für Release-Entscheidungen.

Sie bauen robuste Pipelines, führen statistische Analysen durch und arbeiten eng mit Forschung, Training und Kundenteams zusammen. Mindestens 6 Jahre Praxis, Erfahrung mit Open-Source-Frameworks und Low-Precision-Inferenz runden das Profil ab.