Masterarbeit - Reinforcement Learning für zweibeinigen Outdoor-Roboter auf Rädern mit Isaac Lab

Fraunhofer IPA; Stuttgart; On-site; EUR 17,000 - 24,000; Full time

Benefits offered by this job

Roboterpraxis in Stuttgart

GPU-Trainingsressourcen

Teamarbeit mit Studierenden

Job summary

Fraunhofer IPA sucht zur Verstärkung seines Robotik-Teams eine/m Studierenden oder Doktoranden, der/die sich mit reinforcement learning, Simulationen und hybriden Fortbewegungsmodi beschäftigt. Die Position erfordert eine Immatrikulation in Deutschland und regelmäßige Präsenz am Uni-Campus Stuttgart.

Sie arbeiten an der Entwicklung realistischer Simulationsumgebungen, trainieren RL-Policies und arbeiten an der Übertragung der Ergebnisse auf reale Roboteranwendungen.

Qualifications

• Gültige Immatrikulation an einer Hochschule in Deutschland.
• Sichere Python-Programmierung, ideal mit PyTorch.
• Erfahrung in Reinforcement Learning.
• Hervorragende Studienleistungen bzw. relevante Projekterfahrung.
• Analytisches Denken sowie eine selbstständige, strukturierte Arbeitsweise.
• Regelmäßige Präsenz am Campus der Universität Stuttgart.

Responsibilities

• Aufarbeitung des Stands der Technik zu RL für radbasierte, zweibeinige bzw. hybride Fortbewegung.
• Konzeption und Implementierung einer Simulationsumgebung für einen radbasierten Zweibeiner in NVIDIA Isaac Lab.
• Entwicklung und Training von RL-Policies sowie Entwurf der Reglerarchitektur für hybride Lokomotion.
• Einsatz von Domänen-Randomisierung und Aktuatormodellierung zur Reduktion des Reality Gaps.
• Übertragung der trainierten Policy auf den BiBiRob-Roboter und Validierung gegenüber realem Verhalten.

Skills

Python

PyTorch

Reinforcement Learning

Algorithmen

Selbstständiges Arbeiten

Education

Immatrikulation an einer Hochschule/Uni in Deutschland

Tools

NVIDIA Isaac Lab

ROS 2

Job description

Die Fraunhofer-Gesellschaft (www.fraunhofer.de) ist eine der weltweit führenden Organisationen für anwendungsorientierte Forschung. 74 Institute entwickeln wegweisende Technologien für unsere Wirtschaft und Gesellschaft – genauer: 30 000 Menschen aus Technik, Wissenschaft, Verwaltung und IT. Sie wissen: Wer zu Fraunhofer kommt, will und kann etwas verändern. Für sich, für uns und die Märkte von heute und morgen.

Ausschreibung für die Fachrichtung wie z. B.: Elektrotechnik, Informatik, Kybernetik, Mechatronik, technische Informatik oder vergleichbare.

Radbasierte, zweibeinige Roboter (wheeled bipedal robots) verbinden die Vorteile beinbasierter Systeme mit der Effizienz radgetriebener Fortbewegung. Ihre Regelung in realen Umgebungen ist anspruchsvoll: hochdimensionale Dynamik, nichtlineare Kontaktvorgänge und stark wechselnde Untergründe. Reinforcement Learning (RL) ist ein vielversprechender Weg zu adaptiven und robusten Regelstrategien. Ein Training auf der realen Hardware ist jedoch meist unpraktikabel und nicht sicher. Realistische Simulationsumgebungen sind daher essenziell. Wie gut sich eine gelernte Policy auf den echten Roboter übertragen lässt, hängt davon ab, wie genau die Simulation Kontakt, Aktuierung und Sensorik abbildet.

Hier sorgen Sie für Veränderung

Die folgenden Aspekte bilden ein zusammenhängendes Themenfeld und nicht den festen Umfang einer einzelnen Arbeit. Abhängig von Ihrem Hintergrund und Ihren eigenen Interessen definieren wir den Umfang der Arbeit gemeinsam:

• Aufarbeitung des Stands der Technik zu Reinforcement Learning für radbasierte, zweibeinige und hybride Fortbewegung
• Konzeption und Implementierung einer Simulationsumgebung für einen radbasierten, zweibeinigen Roboter in NVIDIA Isaac Lab mit realistischer Physik
• Entwicklung und Training von RL-Policies sowie Entwurf der Reglerarchitektur für hybride Locomotion-Aufgaben, u. a. Wechsel zwischen den Fortbewegungsmodi und Balancieren auf unebenem Untergrund
• Einsatz von Sim-to-Real-Techniken wie Domain Randomization und Aktuatormodellierung zur Reduktion des Reality Gaps
• Übertrag der trainierten Policy auf unseren Roboter BiBiRob sowie Validierung und Vergleich von simuliertem und realem Verhalten

Hiermit bringen Sie sich ein

Voraussetzungen:

• Gültige Immatrikulation an einer Hochschule oder Universität in Deutschland
• Sichere Programmierkenntnisse in Python, idealerweise mit PyTorch
• Erfahrung mit Reinforcement Learning
• Überdurchschnittliche Studienleistungen oder einschlägige Vorerfahrung aus eigenen Projekten
• Analytisches Denken sowie eine selbstständige und strukturierte Arbeitsweise
• Regelmäßige Präsenz an unserem Standort direkt am Campus der Universität Stuttgart

Von Vorteil:

• Erfahrung mit Physik-Engines
• Erfahrung mit NVIDIA Isaac Sim oder Isaac Lab
• Erfahrung mit ROS 2

Was wir für Sie bereithalten

• Praktische Arbeit mit unseren selbstentwickelten Robotern (rad-, ketten- und beinbasiert) in Stuttgart
• Leistungsfähige GPU-Ressourcen für Trainingsläufe
• Möglichkeit, Erfahrung in der Entwicklung von Robotersystemen für den Außeneinsatz zu sammeln und Verantwortung zu übernehmen, um eigene Ideen umzusetzen
• Einbindung in unser Entwicklerteam und Zusammenarbeit mit Studierenden und Mitarbeitenden aus Informatik, Elektrotechnik und Maschinenbau

Die Vergütung erfolgt je nach Qualifikation.

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.