AI QA Lead

KSR-Global; Lima Metropolitana; On-site; PEN 120,000 - 180,000; Full time

Job summary

KSR-Global busca un AI QA Lead para dirigir el marco de evaluación de IA y garantizar que ninguna solución entra en producción sin ser evaluada, estresada y validada en calidad, seguridad y desempeño.

El candidato definirá pruebas, coordinará pruebas de red team y asegurará la observabilidad con OpenTelemetry en los pipelines de CI/CD, además de proponer métricas y estándares de calidad para la organización.

Qualifications

• Experiencia en QA de IA y seguridad de software.
• Capacidad para definir marcos de evaluación de IA y criterios de aprobación.
• Conocimiento de prácticas de pruebas de red team y validación de guardrails.

Responsibilities

• Definir y liderar lineamientos de evaluación de IA y criterios de aprobación para producción.
• Evaluar agentes de IA end-to-end, medir calidad, tiempos y precisión.
• Diseñar y coordinar pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails con Ciberseguridad.
• Implementar observabilidad con OpenTelemetry y automatizar evaluaciones en pipelines CI/CD.
• Proponer métricas, herramientas y estándares de calidad para la organización.

Skills

Liderazgo técnico

Evaluación de IA

Pruebas de seguridad IA

OpenTelemetry

CI/CD

Análisis de métricas

Education

Experiencia en QA de IA

Tools

OpenTelemetry

CI/CD

Job description

Importante empresa del sector financiero se encuentra en búsqueda de un AI QA Lead para ser el referente técnico de calidad de IA de la organización. Esta persona será owner del marco de evaluación de agentes de IA y se asegurará de que ninguna solución pase a producción sin haber sido evaluada, estresada y validada en calidad, seguridad y desempeño.

Funciones:

• Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria. Esto incluye categorizar los agentes por criticidad, establecer las pruebas requeridas para cada categoría y fijar los criterios de aprobación para el pase a producción.
• Evaluar los agentes de punta a punta y por componente (orquestación, herramientas, memoria, RAG), midiendo la calidad de respuesta, los tiempos y la precisión, e identificando sus puntos más vulnerables.
• Diseñar y coordinar las pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails en conjunto con el equipo de Ciberseguridad.
• Implementar la observabilidad de los agentes bajo OpenTelemetry y automatizar las evals y pruebas de no-regresión dentro de los pipelines de CI/CD.
• Proponer de forma proactiva nuevas métricas, prácticas y herramientas de evaluación, y difundir los estándares de calidad a los equipos de la organización.