Senior Deep Learning Engineer

StudySmarter; Schaffhausen; Vor Ort; CHF 60.000 - 73.000; Vollzeit

Zusammenfassung

StudySmarter in Schaffhausen sucht eine erfahrene Fachkraft, um Evaluationsumgebungen für Frontier-Modelle zu entwerfen und zu implementieren. Sie arbeiten an LLMs, multimodalen Systemen und liefern auditable Signale für Release-Entscheidungen.

Sie bauen robuste Pipelines, führen statistische Analysen durch und arbeiten eng mit Forschung, Training und Kundenteams zusammen. Mindestens 6 Jahre Praxis, Erfahrung mit Open-Source-Frameworks und Low-Precision-Inferenz runden das Profil ab.

Qualifikationen

• 6+ Jahre praktische Erfahrung mit LLMs und Bewertung großer Sprachmodelle oder multimodaler Systeme.
• Starke statistische Grundlagen: Versuchsplanung, Signifikanztests, Regressionsanalyse.
• Nachweisbare Erfahrung beim Aufbau von Evaluationsinfrastrukturen (Pipelines, Benchmark-Harnesses, reproduzierbare CI).

Aufgaben

• Design entscheidungsreife Evaluationsumgebungen für Frontier-Modelle (Reasoning, multimodal, long-context, agentic).
• Forschung & Entwicklung neuer Evaluierungsmethoden für neue Modellfamilien.
• Aufbau und Betrieb von Evaluationsinfrastrukturen und Pipelines (Benchmark-Umgebungen, Regression CI, statistische Werkzeuge).
• Zusammenarbeit mit Modellforschung, Training und Kunden, um Signale in Release-Entscheidungen umzusetzen.

Kenntnisse

LLM evaluation

Statistical methods

Experimental design

Regression analysis

Kommunikation

Cross-functional collaboration

Open-source eval frameworks

Low-precision inference

Problemlösung

Tools

CI/CD pipelines

Jobbeschreibung

Overview

In this role you will design and implement evaluation environments for frontier AI models, including LLMs and multimodal systems, to produce auditable accuracy signals guiding model releases. You’ll research novel evaluation methods for emerging model families and scale evaluation pipelines used by model, product, and research teams. You’ll collaborate across disciplines to translate signals into concrete release and iteration decisions, while working on enterprise-grade GPU clusters and cutting-edge hardware. This is your chance to influence NVIDIA’s roadmap and shape the AI landscape.

Verantwortungsbereiche

• Design decision-grade evaluation environments for frontier models (reasoning, multimodal, long-context, agentic systems)
• Research and develop novel evaluation methodologies for emerging model families
• Build and operate evaluation infrastructure and pipelines (benchmark environments, regression CI, statistical tooling)
• Partner with model research, training, and customer teams to translate signals into release decisions and competitive positioning against external frontier models

Zentrale Anforderungen

• 6+ years of hands-on experience with LLMs and evaluating large language models or multimodal AI systems
• Strong statistical foundations: experimental design, significance testing, regression analysis
• Proven experience building evaluation infrastructure (pipelines, benchmark harnesses, reproducible CI)
• Clear, precise communication; ability to translate quantitative results into decisions for researchers and leadership
• Collaborative cross-functional mindset
• Strong problem-solving and analytical thinking
• Experience with LLM evaluations, agentic/multi-turn/reasoning-heavy settings
• Open-source evaluation frameworks knowledge (standout)
• Experience measuring model accuracy under low-precision inference (FP8, INT4)

Salary: EUR 63000 - 77000 per year