Studienarbeit/ Bachelorarbeit/ Masterarbeit: LLM-gesteuerte Robotermanipulation

Fraunhofer ICT Group; Augsburg; On-site; EUR 17,000 - 28,000; Part time

Job summary

Fraunhofer IGCV sucht Studierende zur Mitarbeit an der Studie "LLM-gesteuerte Robotermanipulation". Sie bauen einen modularen Demonstrator, der LLM-gestützt per Tool-Calling Roboter-Skills orchestriert und Perception-Module integriert. Sie vernetzen UR5e, RealSense, Jetson Orin und Cloud über ROS2 Jazzy mit Docker-Deployment.

Es geht um den Vergleich von Cloud- versus Edge-LLM-Backends, Messung von Latenz und Planungskorrektheit sowie die wissenschaftliche Dokumentation der Ergebnisse.

Qualifications

• Studium im Bereich der Ingenieurswissenschaften oder Informatik.
• Programmierkenntnisse in Python oder C++.
• Erste Erfahrungen mit Robotik, idealerweise ROS2.
• Erste Erfahrungen mit Künstlicher Intelligenz.
• Zuverlässige und selbstständige Arbeitsweise.

Responsibilities

• Aufbau eines modularen Demonstrators, der einen Large Language Model (LLM) über Tool-Calling (smolagents/HuggingFace) Computer-Vision-Funktionen und Roboter-Skills für Pick&Place- bzw. Bin-Picking-Aufgaben orchestriert.
• Integration und Benchmarking von Perception-Modulen (z.B. FoundationPose) sowie Grasp-Planning-Methoden zur kamerabasierten Greifpunktbestimmung.
• Vernetzung aller Komponenten (UR5e, Intel RealSense, Jetson Orin, Cloud) über ROS2 Jazzy mit containerisierter Deployment-Strategie (Docker).
• Systematischer Vergleich von Cloud-basiertem und Edge-basiertem LLM-Backend hinsichtlich Latenz, Task-Erfolgsrate und Planungskorrektheit sowie wissenschaftliche Dokumentation der Ergebnisse.

Job description

Wählen Sie aus, wie oft (in Tagen) Sie eine Benachrichtigung erhalten möchten:

Studienarbeit/ Bachelorarbeit/ Masterarbeit: LLM-gesteuerte Robotermanipulation

Die Fraunhofer-Gesellschaft (www.fraunhofer.de) ist eine der weltweit führenden Organisationen für anwendungsorientierte Forschung. 74Institute entwickeln wegweisende Technologien für unsere Wirtschaft und Gesellschaft – genauer: 30000 Menschen aus Technik, Wissenschaft, Verwaltung und IT. Sie wissen: Wer zu Fraunhofer kommt, will und kann etwas verändern. Für sich, für uns und die Märkte von heute und morgen.

Das Fraunhofer IGCV ist das erste produktionstechnische Fraunhofer-Institut in Bayern. Wir gestalten den Weg in die Zukunft des effizienten Engineerings, der vernetzten Produktion und der intelligenten Multimateriallösungen zur Sicherstellung der nachhaltigen Wettbewerbsfähigkeit Deutschlands und Europas. Unsere Hauptkunden kommen aus dem Maschinen- und Anlagenbau sowie der Luft- und Raumfahrt- und der Fahrzeugindustrie.

Für den Fachbereich Intelligente Prozessführung und Robotik suchen wir zum nächstmöglichen Zeitpunkt , im Rahmen der Studienarbeit "LLM-gesteuerte Robotermanipulation – Modulare Integration von Large Language Models und Computer Vision für Pick&Place-Aufgaben", Studierende, die uns auf unserem weiteren erfolgreichen Weg begleiten möchten.

Hier sorgen Sie für Veränderung

• Aufbau eines modularen Demonstrators, bei dem ein Large Language Model (LLM) über Tool-Calling (smolagents/HuggingFace) Computer-Vision-Funktionen und Roboter-Skills für Pick&Place- bzw. Bin-Picking-Aufgaben orchestriert
• Integration und Benchmarking von Perception-Modulen (z.B. FoundationPose) sowie Grasp-Planning-Methoden zur kamerabasierten Greifpunktbestimmung
• Vernetzung aller Komponenten (UR5e, Intel RealSense, Jetson Orin, Cloud) über ROS2 Jazzy mit containerisierter Deployment-Strategie (Docker)
• Systematischer Vergleich von Cloud-basiertem und Edge-basiertem LLM-Backend hinsichtlich Latenz, Task-Erfolgsrate und Planungskorrektheit sowie wissenschaftliche Dokumentation der Ergebnisse

Hiermit bringen Sie sich ein

• Studium im Bereich der Ingenieurswissenschaften oder Informatik
• Programmierkenntnisse in Python oder C++
• Erste Erfahrungen mit Robotik (idealerweise ROS2)
• Erste Erfahrungen mit Künstlicher Intelligenz
• Zuverlässige und selbstständige Arbeitsweise

Was wir für Sie bereithalten

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Die wöchentliche Arbeitszeit wird individuell vereinbart. Die Stelle kann auch in Teilzeit besetzt werden. Die Vergütung richtet sich nach der Gesamtbetriebsvereinbarung zur Beschäftigung der Hilfskräfte.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Fragen zu dieser Position beantwortet gerne: Christian Pest | 0821 90678-195 | [e-mail]

Fraunhofer IGCV
Am Technologiezentrum 10
86159 Augsburg

Fraunhofer-Institut für Gießerei-, Composite- und Verarbeitungstechnik IGCV