F1-Optimierer für KI-Systeme

grinnberg GmbH; Frankfurt; Hybrid; EUR 60.000 - 80.000; Vollzeit

Zusammenfassung

Ein führendes KI-Technologieunternehmen in Frankfurt sucht einen F1-Optimierer für KI-Systeme (m/w/d). In dieser Position tragen Sie zur Verbesserung der Qualität und Zuverlässigkeit moderner KI-Anwendungen bei, analysieren und optimieren zentralen Leistungsmetriken wie F1-Score, Precision und Recall. Erwartet wird ein abgeschlossenes Studium in Informatik oder einem verwandten Bereich sowie tiefes Verständnis für KI-Technologien. Flexible Arbeitsmodelle und ein wettbewerbsfähiges Vergütungspaket werden geboten.

Leistungen

Wettbewerbsfähiges Vergütungspaket

Flexible Arbeitsmodelle

Weiterbildungs- und Entwicklungsangebote

Qualifikationen

• Abgeschlossenes Studium in Informatik, Data Science, Computational Linguistics, Mathematik oder einem vergleichbaren Studiengang.
• Tiefes Verständnis moderner KI-Technologien, insbesondere LLMs und NLP.
• Erfahrung in der Anwendung und Interpretation von Leistungsmetriken wie Precision, Recall und F1-Score.

Aufgaben

• Direkter Einfluss auf die Qualitätsentwicklung und Weiterentwicklung von KI-Anwendungen.
• Analyse und Optimierung von Leistungsmetriken wie F1-Score.
• Aufbau und Weiterentwicklung von Evaluations- und Testframeworks.

Kenntnisse

Kenntnisse in KI-Technologien

Quantitative Analyse

Analytische Stärke

Ausbildung

Abgeschlossenes Studium in Informatik oder ähnlichem

Tools

Moderne KI-Bibliotheken

Evaluationsstrategien

Jobbeschreibung

Overview

Im Auftrag unseres Mandanten suchen wir einen F1-Optimierer für KI-Systeme (m/w/d). Hier tragen Sie maßgeblich dazu bei, die Qualität und Zuverlässigkeit moderner KI-Anwendungen kontinuierlich zu verbessern. In dieser Rolle sind Sie verantwortlich für die Messung, Analyse und Optimierung zentraler Qualitätsmetriken von KI-Systemen – insbesondere des F1-Scores, der die Balance zwischen Precision und Recall bewertet – um sicherzustellen, dass die Systeme robust, präzise und wirklich einsatzfähig sind.

Responsibilities

• Direkter Einfluss: Sie leisten einen sichtbaren Beitrag zur Qualitätsentwicklung und fachlichen Weiterentwicklung von KI-Anwendungen.
• Hybrid- und Weiterentwicklungsoptionen: Flexible Arbeitsmodelle und gezielte Weiterbildungs- sowie Entwicklungsangebote.
• Moderne IT-Umgebung: Zugang zu zeitgemäßen Entwicklungs- und Evaluationswerkzeugen sowie interdisziplinären Teams.
• Attraktive Rahmenbedingungen: Ein wettbewerbsfähiges Vergütungspaket und weitere Benefits zur Förderung von Work-Life-Balance und beruflicher Weiterentwicklung.

• Kontinuierliche Analyse und Optimierung: Sie analysieren systematisch Leistungsmetriken wie F1-Score, Precision und Recall, identifizieren Fehlerquellen bei KI-Systemen und verbessern diese zielgerichtet.
• Qualitätssicherung von Komponenten: Sie bewerten und optimieren Komponenten wie Dokument-Ranking, Chunking-Strategien und Embeddings, um die Gesamtleistung von KI-Anwendungen messbar zu steigern.
• Evaluations-Frameworks: Aufbau und Weiterentwicklung von methodischen Evaluations- und Testframeworks zur objektiven Messung von Systemqualität und zur Steuerung von Optimierungsprozessen.
• Fehlerdiagnose und Ursachenanalyse: Sie identifizieren typische Modelleigenschaften wie Halluzinationen oder unpräzise Antworten und lokalisieren Ursachen in Prompt-Design, Retrieval-Komponenten oder Modellverhalten.
• Interdisziplinäre Zusammenarbeit: Enge Zusammenarbeit mit Data Scientists, ML-Ingenieuren und Fachbereichen, um technische Erkenntnisse verständlich zu kommunizieren und praxisnahe Verbesserungen umzusetzen.

Qualifications

• Akademische Qualifikation: Abgeschlossenes Studium in Informatik, Data Science, Computational Linguistics, Mathematik oder einem vergleichbaren Studiengang.
• Fachliches Know-how: Tiefes Verständnis moderner KI-Technologien, insbesondere Large Language Models (LLMs), Natural Language Processing (NLP) und Retrieval-Architekturen.
• Quantitative Analyse: Erfahrung in der Anwendung und Interpretation von Leistungsmetriken (z. B. Precision, Recall, F1-Score) zur Bewertung und Optimierung von KI-Systemen.
• Technische Methoden: Kenntnisse in Prompt-Engineering, Embeddings, Evaluationsstrategien und modernen KI-Bibliotheken oder -Toolchains sind von Vorteil.
• Analytische Stärke: Strukturierte, ergebnisorientierte Arbeitsweise mit der Fähigkeit, komplexe technische Zusammenhänge klar zu kommunizieren.