Masterarbeit (w/m/d) - KI-Engineer für Drohnenanalyse

Dlr; Sankt Augustin; Vor Ort; EUR 17.000 - 23.000; Teilzeit

Zusammenfassung

DLR in Sankt Augustin sucht eine engagierte Masterarbeit bzw. Praktikumsstelle (Teilzeit, 6 Monate) im Bereich Drohnendetektion, VLMs und multimodaler KI. Eintritt sofort.

Du bringst laufendes Masterstudium in Informatik, Mathematik oder Optotechnik, gute Python-Kenntnisse, Erfahrung mit PyTorch sowie Verständnis von Computer Vision mit. Selbstständige, strukturierte Arbeitsweise wird erwartet. Tarifliche Vergütung gemäß dem öffentlichen Dienst.

Qualifikationen

• Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder vergleichbarem Studiengang.
• Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch).
• Grundlegendes Verständnis von Computer Vision und Deep Learning; Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil.
• Selbstständige und strukturierte Arbeitsweise.

Aufgaben

• Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung.
• Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial.
• Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale.
• Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand.
• Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung.
• Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext.
• Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung.

Kenntnisse

Python

PyTorch

Computer Vision

Deep Learning

Ausbildung

Masterstudium in Informatik, Mathematik, Optotechnik oder vergleichbarem Studiengang

Tools

PyTorch

Jobbeschreibung

Stellenbeschreibung Kennziffer: 5840 Arbeitsort: Sankt Augustin Eintrittsdatum: sofort Karrierestufe: Studien- & Abschlussarbeit Beschäftigungsgrad: Teilzeit Dauer der Beschäftigung: 6 Monate

Vergütung: Die Vergütung erfolgt gemäß der jeweils geltenden Tarifverträge des öffentlichen Dienstes (Bund).

Steige ein in die faszinierende Welt des Deutschen Zentrums für Luft- und Raumfahrt e. V. (DLR), um mit Forschung und Innovation die Zukunft mitzugestalten! Mit dem Know-how und der Neugier unsererrund 12.000Mitarbeitenden aus 100 Nationen sowie unserer einzigartigen Infrastruktur bieten wir ein spannendes und inspirierendes Arbeitsumfeld. Gemeinsam entwickeln wir nachhaltige Technologien und tragen so zur Lösung globaler Herausforderungen bei. Möchtest du diese große Zukunftsaufgabe mit uns zusammen angehen? Dann ist dein Platz bei uns!

Das Institut für den Schutz terrestrischer Infrastrukturen widmet sich seit seiner Gründung im Jahr 2019 dem Schutz und der Sicherheit kritischer Infrastrukturen. Wir entwickeln Konzepte, Verfahren und Technologien, die die Widerstandsfähigkeit (Resilienz) von Organisationen und Systemen stärken und verbessern. Dabei haben wir sowohl den Menschen, die Technik als auch das Gesamtsystem im Blick.

Kamerabasierte Drohnendetektionssysteme lokalisieren potenzielle Drohnen im Bild mithilfe von Bounding Boxes und weisen jeder Detektion einen Konfidenzwert zu. Für eine sicherheitsrelevante Bewertung in urbanen Überwachungsszenarien reichen diese Informationen jedoch häufig nicht aus. Entscheidend sind zusätzlich semantische Merkmale wie Bauform, visuelle Eigenschaften und insbesondere mögliche Nutzlasten, da diese wesentlich zur Einschätzung des Gefährdungspotenzials beitragen können.

Vision-Language-Modelle (VLMs) bieten die Möglichkeit, visuelle Drohnendetektionen um semantische Informationen zu ergänzen. Durch die Verknüpfung visueller Merkmale mit sprachlichen Konzepten können sie beispielsweise Aussagen zu Bauform, Ausstattung und potenziellen Nutzlasten ableiten. In Kombination mit einem echtzeitfähigen Detektor entsteht eine zweistufige Verarbeitungskette, in der zunächst relevante Bildregionen lokalisiert und anschließend durch ein VLM analysiert werden. Dadurch entwickelt sich die reine Lokalisierung zu einer semantisch angereicherten Analyse, die als Grundlage für ein operativ verwertbares Lagebild dienen kann.

Das erwartet dich

Du bearbeitest eine aktuelle Forschungsfrage an der Schnittstelle von Objektdetektion, multimodalem Deep Learning und sicherheitskritischen Anwendungen. Im Mittelpunkt steht hierbei die folgende Forschungsfrage:
In welchem Umfang können VLMs die Ergebnisse einer vorgelagerten Drohnendetektion um sicherheitsrelevante semantische Informationen, insbesondere zu potenziellen Nutzlasten und weiteren visuellen Merkmalen, erweitern, und mit welcher Zuverlässigkeit und Recheneffizienz ist dies unter realitätsnahen Einsatzbedingungen möglich?

Deine Aufgaben

• Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung
• Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial
• Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale
  Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand
• Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung
• Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext
• Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung

Das bringst du mit

• Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder einem vergleichbaren Studiengang
• Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch)
• Grundlegendes Verständnis von Computer Vision und Deep Learning. Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil
• Selbstständige und strukturierte Arbeitsweise

Das bieten wir dir

Das DLR steht für Vielfalt, Wertschätzung und Gleichstellung aller Menschen. Wir fördern eigenverantwortliches Arbeiten und die individuelle Weiterentwicklung unserer Mitarbeitenden im persönlichen und beruflichen Umfeld. Dafür stehen dir unsere zahlreichen Fort- und Weiterbildungsmöglichkeiten zur Verfügung. Chancengerechtigkeit ist uns ein besonderes Anliegen, wir möchten daher insbesondere den Anteil von Frauen in der Wissenschaft und Führung erhöhen. Bewerbungen schwerbehinderter Menschen bevorzugen wir bei fachlicher Eignung.

Wir freuen uns darauf, dich kennenzulernen!

Fragen zu dieser Position (Kennziffer 5840) beantwortet dir gerne:

Dr. Tobias Koch
Tel.:[phone]