Masterarbeit (w/m/d) - KI-Engineer für Drohnenanalyse

Deutsches Zentrum für Luft- und Raumfahrt (DLR); Sankt Augustin; Vor Ort; EUR 42.000 - 60.000; Vollzeit

Zusammenfassung

DLR – Institut für den Schutz terrestrischer Infrastrukturen sucht einen Masterkandidaten (Informatik/Mathematik/Optotechnik) mit guten Python- und PyTorch-Kenntnissen zur Forschung an VLMs und drohnengenauer semantischer Analyse. Sie arbeiten an der Erweiterung von Drohnendetektionen um Nutzlasten und visuellen Merkmalen, evaluieren Modelle in Realwelt-Szenarien und dokumentieren die Ergebnisse wissenschaftlich.

Sie arbeiten eigenständig in einem interdisziplinären Umfeld, berichten an Dr.

Qualifikationen

• Fortgeschrittenes Verständnis von Python-Programmierung und Deep-Learning-Frameworks.
• Grundlegendes Verständnis von Computer Vision und Deep Learning.
• Interesse an multimodalen Modellen (VLMs) von Vorteil.

Aufgaben

• Einarbeitung in Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, videorelater Drohnendetektion.
• Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen.
• Entwicklung und Untersuchung von Prompting- und Inferenzstrategien zur Extraktion semantischer Merkmale.
• Systematische Evaluation von Erkennungsleistung, semantischer Konsistenz, Robustheit, Latenz und Rechenaufwand.
• Gegenüberstellung von VLMs mit klassischen Payload-Erkennung-Verfahren.
• Kritische Analyse der Ergebnisse im Hinblick auf operative Verwertbarkeit.
• Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung.

Kenntnisse

Python

Deep Learning

PyTorch

Computer Vision

Multimodale Modelle

Selbstständige Arbeitsweise

Ausbildung

Masterstudium in Informatik/Mathematik/Optotechnik

Jobbeschreibung

Das Institut für den Schutz terrestrischer Infrastrukturen widmet sich seit seiner Gründung im Jahr 2019 dem Schutz und der Sicherheit kritischer Infrastrukturen. Wir entwickeln Konzepte, Verfahren und Technologien, die die Widerstandsfähigkeit (Resilienz) von Organisationen und Systemen stärken und verbessern. Dabei haben wir sowohl den Menschen, die Technik als auch das Gesamtsystem im Blick. Kamerabasierte Drohnendetektionssysteme lokalisieren potenzielle Drohnen im Bild mithilfe von Bounding Boxes und weisen jeder Detektion einen Konfidenzwert zu. Für eine sicherheitsrelevante Bewertung in urbanen Überwachungsszenarien reichen diese Informationen jedoch häufig nicht aus. Entscheidend sind zusätzlich semantische Merkmale wie Bauform, visuelle Eigenschaften und insbesondere mögliche Nutzlasten, da diese wesentlich zur Einschätzung des Gefährdungspotenzials beitragen können. Vision-Language-Modelle (VLMs) bieten die Möglichkeit, visuelle Drohnendetektionen um semantische Informationen zu ergänzen. Durch die Verknüpfung visueller Merkmale mit sprachlichen Konzepten können sie beispielsweise Aussagen zu Bauform, Ausstattung und potenziellen Nutzlasten ableiten. In Kombination mit einem echtzeitfähigen Detektor entsteht eine zweistufige Verarbeitungskette, in der zunächst relevante Bildregionen lokalisiert und anschließend durch ein VLM analysiert werden. Dadurch entwickelt sich die reine Lokalisierung zu einer semantisch angereicherten Analyse, die als Grundlage für ein operativ verwertbares Lagebild dienen kann.

Das erwartet dich

Du bearbeitest eine aktuelle Forschungsfrage an der Schnittstelle von Objektdetektion, multimodalem Deep Learning und sicherheitskritischen Anwendungen. Im Mittelpunkt steht hierbei die folgende Forschungsfrage: In welchem Umfang können VLMs die Ergebnisse einer vorgelagerten Drohnendetektion um sicherheitsrelevante semantische Informationen, insbesondere zu potenziellen Nutzlasten und weiteren visuellen Merkmalen, erweitern, und mit welcher Zuverlässigkeit und Recheneffizienz ist dies unter realitätsnahen Einsatzbedingungen möglich?

Deine Aufgaben

• Einarbeitung in den Stand der Technik zu VLMs, Open-Vocabulary-Ansätzen, kamerabasierter Drohnendetektion und klassischer Payload-Erkennung
• Auswahl und Untersuchung geeigneter VLMs zur semantischen Analyse detektierter Drohnen, insbesondere im Hinblick auf ihr Zero-Shot-Potenzial
• Entwicklung und Untersuchung geeigneter Prompting- und Inferenzstrategien für die zuverlässige Extraktion semantischer Merkmale
• Systematische Evaluation hinsichtlich Erkennungsleistung, semantischer Konsistenz, Robustheit gegenüber Fehlbeschreibungen und Halluzinationen sowie Latenz und Rechenaufwand
• Gegenüberstellung ausgewählter VLMs mit klassischen, domänenspezifisch trainierten Verfahren zur Payload-Erkennung
• Kritische Analyse und Einordnung der Ergebnisse im Hinblick auf die operative Verwertbarkeit im Überwachungskontext
• Dokumentation von Methodik und Ergebnissen in einer schriftlichen Ausarbeitung

Das bringst du mit

• Laufendes Masterstudium in Informatik, Mathematik, Optotechnik oder einem vergleichbaren Studiengang
• Gute Programmierkenntnisse in Python sowie praktische Erfahrung mit Deep-Learning-Frameworks (idealerweise PyTorch)
• Grundlegendes Verständnis von Computer Vision und Deep Learning
• Interesse an multimodalen Modellen (insbesondere VLMs) von Vorteil
• Selbstständige und strukturierte Arbeitsweise

Wir freuen uns darauf, dich kennenzulernen!

Fragen zu dieser Position (Kennziffer 5840) beantwortet dir gerne: Dr. Tobias Koch Tel.: [phone]