Masterarbeit: Aktuelle Backdoor Detektionsverfahren angreifen

Fraunhofer ICT Group; Darmstadt; On-site; EUR 11,000 - 17,000; Part time

Job summary

Fraunhofer SIT in Darmstadt sucht eine/n Studierende/n für eine Masterarbeit zur Entwicklung und Evaluierung von Backdoor Detektionsverfahren in neuronalen Netzen. Ziel ist es, Schwachstellen zu identifizieren und robuste Gegenmaßnahmen zu erarbeiten.

Sie arbeiten eng mit dem Forschungsteam zusammen, implementieren ML-Modelle mit PyTorch, analysieren Datensätze und berichten Ihre Ergebnisse in einem Abschlussbericht.

Qualifications

• Masterarbeit im Bereich ML/Sicherheit der KI oder verwandten Gebieten.
• Gute Python Kenntnisse, insbesondere PyTorch.
• Kenntnisse im Bereich Machine Learning, Transformer-Architekturen und ML-Sicherheit erwünscht.

Responsibilities

• Durchführen von Forschungen zu Backdoor Detektionsverfahren in neuronalen Netzen.
• Implementieren von ML-Ansätzen zur Detektion und Evaluierung.
• Dokumentation des Projekts in Form einer Masterarbeit und Erstellung eines Abschlussberichts.
• Präsentation der Ergebnisse vor dem Forschungsteam.

Skills

Machine Learning

Python

Transformer-Architektur

ML-Security

PyTorch

Education

Masterstudium in ML/CS

Tools

PyTorch

Python

Job description

Wählen Sie aus, wie oft (in Tagen) Sie eine Benachrichtigung erhalten möchten:

Masterarbeit: Aktuelle Backdoor Detektionsverfahren angreifen

Die Fraunhofer-Gesellschaft ( www.fraunhofer.de ) ist eine der weltweit führenden Organisationen für anwendungsorientierte Forschung. 74Institute entwickeln wegweisende Technologien für unsere Wirtschaft und Gesellschaft – genauer: 30000 Menschen aus Technik, Wissenschaft, Verwaltung und IT. Sie wissen: Wer zu Fraunhofer kommt, will und kann etwas verändern. Für sich, für uns und die Märkte von heute und morgen.

Hintergrund/Motivation:
Backdoor Attacken sind Angriffe auf Neuronale Netze bei denen ein sogenannter Trigger das Entscheidungsverhalten der Netze verändert und dadurch Schwachstellen entstehen. Diese Trigger können in den Trainingsdatensatz eingeschleust werden oder direkt auf die Modellgewichte. Diese nennt man dann vergiftet. Durch Parametereffiziente Finetuning Methoden sind Backdoor Angriffe auf Large Language Modelle (LLMs) wesentlich schwieriger zu detektieren geworden, da ein vergiftetes Parameterupdate schwieriger zu erkennen ist als ein vergifteter Datensatz. Daher wurden in der vergangenen Zeit einige Verfahren entwickelt um vergiftete Modelupdates zu erkennen.

Ziel: Durch die Vielfalt der Backdoor Angriffe können Verfahren oft weitaus weniger Angriffe erkennen als sie vorgeben, da sie oft Annahmen treffen, die nicht der Realität entsprechen. Ziel dieser Arbeit ist es daher, bei Verfahren die in der Literatur vorgestellt wurden, Schwachstellen zu finden und auszunutzen, sodass versprochene Effekte doch nicht wie gewünscht erreicht werden.

Ergebnisse: Die Ergebnisse dieser Arbeit sollen der Forschungscommunity aufzeigen, dass ein grundlegendes Verständnis von den Mechaniken von Backdoor Angriffen zwingend erforderlich ist. Dafür sollen für vorher ausgewählte Detektionsverfahren Modelle, Datensätze oder Finetuning Adapter erstellt und getestet werden, die zuverlässig diese Detektionsverfahren umgehen können.

Hier sorgst Du für Veränderung

• Forschen und Implementieren von neuartigen Machine Learning Ansätzen, die die Sicherheit von LLMs steigern.
• Selbstkritische Evaluierung der gefunden Ergebnisse.
• Präsentieren der Ergebnisse.
• Anfertigen eines Projektberichts in Form einer Masterarbeit.

Hiermit bringst Du Dich ein

• Sehr gute Studienleistungen mit einer Durchschnittsnote von maximal 2,2
• Kenntnisse im Bereich Machine Learning darunter Training, Inferenz und Optimierung von Transformerarchitekturen.
• Kenntnisse im Bereich ML-Security sind wünschenswert.
• Gute Python Kenntnisse im speziellen mit Pytorch sind erforderlich.
• Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten.

Was wir für Dich bereithalten

• Selbstständige Arbeitszeiteinteilung
• Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Fraunhofer-Institut für Sichere Informationstechnologie SIT