Quality & Testmanager - Monitoring, Automation & GenAI-QS (m/w/d)

Projektrahmen

Start: 11/2025
Laufzeit: 9 Monate+
Auslastung: 100%
Einsatzort: Nürnberg (gelegentlich vor Ort) / über 90% remote
Voraussetzung: Bereitschaft zur SÜ2

Projektbeschreibung

Für ein Projekt im öffentlichen Umfeld suchen wir ab sofort einen Quality & Testmanager (m/w/d). Der Einsatz erfolgt überwiegend remote, mit gelegentlichen Terminen vor Ort in Nürnberg. Der Fokus liegt auf der Qualitätssicherung, Testautomatisierung, Monitoring sowie der technischen und fachlichen Stabilität von Online-Services, einschließlich KI-gestützter Komponenten. Idealerweise bringst du Behördenerfahrung sowie die Bereitschaft zu einer Sicherheitsüberprüfung (SÜG 2) mit.

Aufgaben

Monitoring & Performance:

• Einrichtung und Betrieb von Performance- und End-to-End-Monitoring (z. B. Auswertung von Antwortzeiten, Tracing)
• Aufbau und Pflege eines technischen Alerting über bestehende Infrastruktur
• Erstellung technischer und fachlicher Dashboards (z. B. mit Grafana, Loki) zur Überwachung und Auswertung
• Konzeption und Implementierung von Logging- und Audit-Mechanismen
• Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit

Qualitätssicherung & Testkonzepte:

• Entwicklung, Dokumentation und Umsetzung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Entwicklungszyklus
• Erstellung und Pflege von Testkonzepten, Testhandbüchern und QS-Dokumentationen
• Integration von automatisierten Tests in CI/CD-Prozesse (z. B. Smoke Tests, Nightly Builds)
• Erstellung von Berichten, Auswertungen und Entscheidungsvorlagen
• Einführung von Guardrail-Testing-Strategien und Qualitätssicherungsrichtlinien nach ISO 25010

Anforderungsbezogene QS & Testdatengenerierung:

• Unterstützung bei Anforderungsspezifikation, -dokumentation und Validierung
• Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards
• Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz)

Konzeption, Umsetzung & Durchführung von Tests:

• Unterstützung bei Unit- und Komponententests (React, Java, Python)
• Planung und Durchführung von Schnittstellentests (z. B. PACT, OpenAPI)
• Aufbau von Integrationstests sowie automatisierten End-to-End-Tests (z. B. Catchpoint)
• Umsetzung automatisierter UI-Tests und risikobasierter Tests

KI-spezifische Qualitätssicherung:

• Entwicklung und Durchführung ML- und LLM-spezifischer Tests (z. B. Prompt-Stabilität, Regression, Antwortverhalten)
• Durchführung von GenAI-Pentests (Vermeidung von Prompt-Injection)
• Simulation dialogischer Kontexte (z. B. regelbasiert vs. generativ)
• Analyse und Bewertung generativer Antworten (Relevanz, Konformität, Nachvollziehbarkeit)
• Aufbau von Logging- und Audit-Trails zur Validierung von KI-Ausgaben

Usability, Barrierefreiheit & Performanz:

• Konzeption, Durchführung und Evaluation von Usability-Tests
• Begleitung von Accessibility-Tests nach BITV 2.0
• Planung und Umsetzung von Last- und Performance-Tests
• Erstellung von technischen und fachlichen Reporting-Dashboards inkl. Alerting

Übergabe in den Linienbetrieb:

• Vollständige Dokumentation aller Test- und QS-Artefakte
• Qualitätssicherung aller technischen und fachlichen Liefergegenstände
• Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Eskalationsmanagement
• Durchführung von Schulungen, Workshops und Übergabegesprächen mit dem Betriebsteam
• Übergabe von CI/CD-Pipelines, Deployment-Skripten, Monitoring- und Logging-Strukturen
• Erstellung eines Abschlussberichts mit Handlungsempfehlungen und Dokumentation offener Punkte

Anforderungen

• Mehrjährige Erfahrung als Lead Developer, Testmanager oder QS-Verantwortlicher
• Fundierte Kenntnisse in Testkonzeption, Testautomatisierung und CI/CD-Prozessen
• Erfahrung in React, Java, Python, idealerweise mit PACT oder OpenAPI
• Kenntnisse im Umgang mit Grafana, Loki, Catchpoint oder vergleichbaren Tools
• Erfahrung mit Qualitätsstandards nach ISO 25010
• Erfahrung im Bereich KI-/LLM-Testing, Guardrail-Testing oder GenAI-Sicherheit von Vorteil
• Sehr gute Dokumentations- und Kommunikationsfähigkeiten
• Behördenerfahrung und SÜG 2-Bereitschaft erforderlich