Quality & Testmanager - Monitoring, Automation & GenAI-QS (m/w/d)

SOMI Solutions GmbH; Nürnberg; Hybrid; EUR 65.000 - 90.000; Vollzeit

Zusammenfassung

Ein führendes IT-Dienstleistungsunternehmen in Nürnberg sucht einen erfahrenen Quality & Testmanager (m/w/d) für ein Projekt im öffentlichen Umfeld. Der Fokus liegt auf Qualitätssicherung und Testautomatisierung, mit der Möglichkeit, überwiegend remote zu arbeiten und gelegentlichen vor Ort Einsätzen. Ideale Kandidaten bringen mehrjährige Erfahrung in Testkonzeption und Behördenerfahrung mit.

Qualifikationen

• Mehrjährige Erfahrung als Testmanager oder QS-Verantwortlicher.
• Fundierte Kenntnisse in Testkonzeption und Testautomatisierung.
• Behördenerfahrung und Bereitschaft zur Sicherheitsüberprüfung (SÜG 2).

Aufgaben

• Entwicklung und Umsetzung von Testkonzepten für alle Entwicklungsphasen.
• Überwachung der technischen Stabilität von Online-Services.
• Einführung von Qualitätssicherungsrichtlinien nach ISO 25010.

Kenntnisse

Testautomatisierung

CI/CD-Prozesse

React

Java

Python

Kommunikationsfähigkeiten

Tools

Grafana

Loki

Catchpoint

Jobbeschreibung

Projektrahmen

Start: 11/2025
Laufzeit: 9 Monate+
Auslastung: 100%
Einsatzort: Nürnberg (gelegentlich vor Ort) / über 90% remote
Voraussetzung: Bereitschaft zur SÜ2

Projektbeschreibung

Für ein Projekt im öffentlichen Umfeld suchen wir ab sofort einen Quality & Testmanager (m/w/d). Der Einsatz erfolgt überwiegend remote, mit gelegentlichen Terminen vor Ort in Nürnberg. Der Fokus liegt auf der Qualitätssicherung, Testautomatisierung, Monitoring sowie der technischen und fachlichen Stabilität von Online-Services, einschließlich KI-gestützter Komponenten. Idealerweise bringst du Behördenerfahrung sowie die Bereitschaft zu einer Sicherheitsüberprüfung (SÜG 2) mit.

Aufgaben

Monitoring & Performance:

• Einrichtung und Betrieb von Performance- und End-to-End-Monitoring (z. B. Auswertung von Antwortzeiten, Tracing)
• Aufbau und Pflege eines technischen Alerting über bestehende Infrastruktur
• Erstellung technischer und fachlicher Dashboards (z. B. mit Grafana, Loki) zur Überwachung und Auswertung
• Konzeption und Implementierung von Logging- und Audit-Mechanismen
• Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit

Qualitätssicherung & Testkonzepte:

• Entwicklung, Dokumentation und Umsetzung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Entwicklungszyklus
• Erstellung und Pflege von Testkonzepten, Testhandbüchern und QS-Dokumentationen
• Integration von automatisierten Tests in CI/CD-Prozesse (z. B. Smoke Tests, Nightly Builds)
• Erstellung von Berichten, Auswertungen und Entscheidungsvorlagen
• Einführung von Guardrail-Testing-Strategien und Qualitätssicherungsrichtlinien nach ISO 25010

Anforderungsbezogene QS & Testdatengenerierung:

• Unterstützung bei Anforderungsspezifikation, -dokumentation und Validierung
• Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards
• Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz)

Konzeption, Umsetzung & Durchführung von Tests:

• Unterstützung bei Unit- und Komponententests (React, Java, Python)
• Planung und Durchführung von Schnittstellentests (z. B. PACT, OpenAPI)
• Aufbau von Integrationstests sowie automatisierten End-to-End-Tests (z. B. Catchpoint)
• Umsetzung automatisierter UI-Tests und risikobasierter Tests

KI-spezifische Qualitätssicherung:

• Entwicklung und Durchführung ML- und LLM-spezifischer Tests (z. B. Prompt-Stabilität, Regression, Antwortverhalten)
• Durchführung von GenAI-Pentests (Vermeidung von Prompt-Injection)
• Simulation dialogischer Kontexte (z. B. regelbasiert vs. generativ)
• Analyse und Bewertung generativer Antworten (Relevanz, Konformität, Nachvollziehbarkeit)
• Aufbau von Logging- und Audit-Trails zur Validierung von KI-Ausgaben

Usability, Barrierefreiheit & Performanz:

• Konzeption, Durchführung und Evaluation von Usability-Tests
• Begleitung von Accessibility-Tests nach BITV 2.0
• Planung und Umsetzung von Last- und Performance-Tests
• Erstellung von technischen und fachlichen Reporting-Dashboards inkl. Alerting

Übergabe in den Linienbetrieb:

• Vollständige Dokumentation aller Test- und QS-Artefakte
• Qualitätssicherung aller technischen und fachlichen Liefergegenstände
• Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Eskalationsmanagement
• Durchführung von Schulungen, Workshops und Übergabegesprächen mit dem Betriebsteam
• Übergabe von CI/CD-Pipelines, Deployment-Skripten, Monitoring- und Logging-Strukturen
• Erstellung eines Abschlussberichts mit Handlungsempfehlungen und Dokumentation offener Punkte

Anforderungen

• Mehrjährige Erfahrung als Lead Developer, Testmanager oder QS-Verantwortlicher
• Fundierte Kenntnisse in Testkonzeption, Testautomatisierung und CI/CD-Prozessen
• Erfahrung in React, Java, Python, idealerweise mit PACT oder OpenAPI
• Kenntnisse im Umgang mit Grafana, Loki, Catchpoint oder vergleichbaren Tools
• Erfahrung mit Qualitätsstandards nach ISO 25010
• Erfahrung im Bereich KI-/LLM-Testing, Guardrail-Testing oder GenAI-Sicherheit von Vorteil
• Sehr gute Dokumentations- und Kommunikationsfähigkeiten
• Behördenerfahrung und SÜG 2-Bereitschaft erforderlich