Masterarbeit: Mechanistic Interpretability mit Singulärwertzerlegungen

Fraunhofer Institute for Secure Information Technology SIT; Darmstadt; In loco; EUR 12.000 - 19.000; Tempo pieno

Descrizione del lavoro

Fraunhofer-Institut für Sichere Informationstechnologie SIT in Darmstadt sucht eine engagierte Masterandin bzw. einen Masteranden, um Untersuchungen zu Mechanistic Interpretability und den Zusammenhängen zu Aktivierungsvektoren durchzuführen.

Sie entwickeln neue Ansätze, evaluieren kritisch die Ergebnisse und bereiten einen Abschlussbericht im Rahmen der Masterarbeit vor. Die Arbeit verbindet akademische Forschung mit praktischer Anwendung, fokussiert auf Sicherheit von KI-Systemen und

Competenze

• Kenntnisse im Bereich Machine Learning, insbesondere Training, Inferenz und Optimierung von Transformer-Architekturen.
• Erste Erfahrungen in Algebra und Numerik sind hilfreich.
• Kenntnisse im Bereich KI-Sicherheit wünschenswert.
• Gute Python-Kenntnisse sind zwingend erforderlich und werden im Interview geprüft.
• Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten.

Mansioni

• Forschen und Implementieren von neuartigen Machine-Learning-Ansätzen, die die Sicherheit von LLMs steigern.
• Selbstkritische Evaluierung der gefundenen Ergebnisse.
• Präsentieren der Ergebnisse.
• Anfertigen eines Projektberichts in Form einer Masterarbeit.

Conoscenze

Machine Learning

Transformer-Architekturen

Algebra

Numerik

KI-Sicherheit

Python

Descrizione del lavoro

Hintergrund und Motivation

Aktivierungsfunktionen sind ein grundlegender Teil des maschinellen Lernens, da durch sie eine nichtlineare Komponente eingefügt wird und somit eine beliebige Funktion approximiert werden kann. In der Praxis können diese Funktionen pro Schicht eines neuronalen Netzes mehrere Millionen Dimensionen haben, die durch Linearkombinationen und die anschließende Aktivierung Schicht für Schicht zur Modellvorhersage führen. Algebraisch und numerisch ist es zudem möglich, die Matrizen so umzuformen, dass die Produkte zwar gleich bleiben, die Multiplikanden aber geschickt gewählt sind und dementsprechend einzelne Features stärker betont werden können.

Hintergrund und Motivation

Aktivierungsfunktionen sind ein grundlegender Teil des maschinellen Lernens, da durch sie eine nichtlineare Komponente eingefügt wird und somit eine beliebige Funktion approximiert werden kann. In der Praxis können diese Funktionen pro Schicht eines neuronalen Netzes mehrere Millionen Dimensionen haben, die durch Linearkombinationen und die anschließende Aktivierung Schicht für Schicht zur Modellvorhersage führen. Algebraisch und numerisch ist es zudem möglich, die Matrizen so umzuformen, dass die Produkte zwar gleich bleiben, die Multiplikanden aber geschickt gewählt sind und dementsprechend einzelne Features stärker betont werden können.

Ziel

Die Arbeit soll untersuchen, wie genau Verfahren der Mechanistic Interpretability mit den Vektorräumen der Aktivierungen zusammenhängen und ob sich beispielsweise Sicherheitsfeatures durch geschickte Umformung der Matrizen verstärken oder abschwächen lassen.

Ergebnisse

Die Arbeit soll zeigen, ob manuelle Transformationen der Parameter grundsätzlich möglich sind und ob sich durch eine geschickte Wahl der Basen, beispielsweise durch Orthogonalisierung, Linearkombinationen ergeben, mit denen sich einzelne Fähigkeiten gezielt beeinflussen lassen.

Hier sorgst Du für Veränderung

• Forschen und Implementieren von neuartigen Machine-Learning-Ansätzen, die die Sicherheit von LLMs steigern
• Selbstkritische Evaluierung der gefundenen Ergebnisse
• Präsentieren der Ergebnisse
• Anfertigen eines Projektberichts in Form einer Masterarbeit

Hiermit bringst Du Dich ein

• Sehr gute Studienleistungen mit einer Durchschnittsnote von maximal 2,2
• Kenntnisse im Bereich Machine Learning, darunter Training, Inferenz und Optimierung von Transformer-Architekturen
• Kenntnisse in Algebra und Numerik sind hilfreich
• Kenntnisse im Bereich KI-Sicherheit sind wünschenswert
• Gute Python-Kenntnisse sind zwingend erforderlich und werden im Interview geprüft
• Wissenschaftliches Interesse und Interesse an aktuellen Forschungsprojekten

Was wir für Dich bereithalten

• Selbstständige Arbeitszeiteinteilung
• Einblicke in das Schnittfeld von akademischer Forschung und industrieller Anwendung

Verwandte Arbeiten

[1] https://arxiv.org/pdf/2404.09932

[2] https://openreview.net/pdf/1e69f75870a7fc9de5d820991191c2377690b0aa.pdf

[3] https://arxiv.org/pdf/2511.20273

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Fraunhofer-Institut für Sichere Informationstechnologie SIT

www.sit.fraunhofer.de

Kennziffer: 86082 Bewerbungsfrist: