Masterarbeit: Evaluation von Vision-Language Models für soziale Situationen

Fraunhofer ICT Group; Augsburg; On-site; EUR 13,000 - 20,000; Full time

Job summary

Fraunhofer IGCV in Augsburg sucht eine Masteranden für eine Masterarbeit zur Evaluation von Vision-Language Models in industriellen Umgebungen. Sie entwickeln eine Benchmark und vergleichen Modelle wie LLaVA oder InternVL2.

Sie arbeiten an einer Annotationsstrategie, führen Annotationen in einem industriellen Bilddatensatz durch und analysieren die Prompt-Sensitivität. Erfahrungen mit Python und multimodalen KI-Modellen werden erwartet.

Qualifications

• Programmierkenntnisse in Python.
• Erste Erfahrungen mit multimodalen KI-Modellen oder Bildverarbeitung.
• Interesse an Mensch-Roboter-Interaktion und sozialer Robotik.

Responsibilities

• Durchführung der Masterarbeit zum Thema Evaluation von Vision-Language Models in industriellen Umgebungen.
• Entwicklung einer Annotationsstrategie und Taxonomie für sozial situative Szenen inkl. Annotationstool.
• Annotierung eines industriellen Bilddatensatzes mit mehreren Annotierenden und Bestimmung des Inter-Annotator-Agreements.
• Systematischer Vergleich lokaler VLMs auf NVIDIA Jetson Orin AGX inkl. Prompt-Engineering.
• Auswertung und wissenschaftliche Dokumentation der Ergebnisse.

Skills

Python

Multimodale KI

Vision-Language Models

Mensch-Roboter-Interaktion

Education

Master-Studium in Ingenieurwissenschaften oder Informatik

Tools

CVAT

Job description

Wählen Sie aus, wie oft (in Tagen) Sie eine Benachrichtigung erhalten möchten:

Masterarbeit: Evaluation von Vision-Language Models für soziale Situationen

Die Fraunhofer-Gesellschaft ( www.fraunhofer.de ) ist eine der weltweit führenden Organisationen für anwendungsorientierte Forschung. 74Institute entwickeln wegweisende Technologien für unsere Wirtschaft und Gesellschaft – genauer: 30000 Menschen aus Technik, Wissenschaft, Verwaltung und IT. Sie wissen: Wer zu Fraunhofer kommt, will und kann etwas verändern. Für sich, für uns und die Märkte von heute und morgen.

Das Fraunhofer IGCV ist das erste produktionstechnische Fraunhofer-Institut in Bayern. Wir gestalten den Weg in die Zukunft des effizienten Engineerings, der vernetzten Produktion und der intelligenten Multimateriallösungen zur Sicherstellung der nachhaltigen Wettbewerbsfähigkeit Deutschlands und Europas. Unsere Hauptkunden kommen aus dem Maschinen- und Anlagenbau sowie der Luft- und Raumfahrt- und der Fahrzeugindustrie. Für den Fachbereich Intelligente Prozessführung und Robotik suchen wir zum nächstmöglichen Zeitpunkt einen Studierenden für eine Masterarbeit zum Thema: "Evaluation von Vision-Language Models zur Erfassung sozial situativer Kontexte in industriellen Umgebungen – Benchmark-Entwicklung & Modellvergleich" der uns auf unserem weiteren erfolgreichen Weg begleiten möchte.

Hier sorgen Sie für Veränderung

• Literaturrecherche zu Vision-Language Models (VLMs), bestehenden VLM-Benchmarks sowie Methoden der Human-Human-Interaction (HHI) und Human-Object-Interaction (HOI) Erkennung
• Entwicklung einer Annotationsstrategie und Taxonomie für sozial situative Szenen (Interaktionsmuster, Ansprechbarkeit, Tätigkeitskontext, soziale Normen) inkl. Auswahl und Einrichtung eines Annotationstools (z. B. CVAT)
• Annotation eines industriellen Bilddatensatzes (4 Branchen) mit mehreren Annotierenden und Bestimmung des Inter-Annotator-Agreements
• Systematischer Vergleich lokaler VLMs (z. B. LLaVA, InternVL2, Qwen2-VL) auf einem NVIDIA Jetson Orin AGX inkl. Prompt-Engineering und Analyse der Prompt-Sensitivität
• Auswertung und wissenschaftliche Dokumentation der Ergebnisse

Hiermit bringen Sie sich ein

• Studium im Bereich der Ingenieurswissenschaften oder Informatik
• Programmierkenntnisse in Python
• Erste Erfahrungen mit multimodalen KI-Modellen (Vision-Language Models, LLMs) oder Bildverarbeitung
• Interesse an Mensch-Roboter-Interaktion und sozialer Robotik
• Zuverlässige und selbstständige Arbeitsweise

Was wir für Sie bereithalten

Wir bieten flexible Arbeitszeiten, eine hervorragende Ausstattung und die Möglichkeit, die sozial situative Wahrnehmung für soziale Roboter bei uns aktiv mitzugestalten. Als Teil eines sympathischen, motivierten Teams sind Sie an der Realisierung spannender Forschungsprojekte beteiligt und übernehmen verantwortungsvolle Aufgaben mit hohem Gestaltungsspielraum.

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Die wöchentliche Arbeitszeit wird individuell vereinbart. Die Stelle kann auch in Teilzeit besetzt werden.Die Vergütung richtet sich nach der Gesamtbetriebsvereinbarung zur Beschäftigung der Hilfskräfte.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Fragen zu dieser Position beantwortet gerne: Christian Pest | 0821 90678-195 | [e-mail]

Fraunhofer IGCV
Am Technologiezentrum 10
86159 Augsburg

Fraunhofer-Institut für Gießerei-, Composite- und Verarbeitungstechnik IGCV