AI QA Engineer

Ksr-Global; Lima Metropolitana; Presencial; PEN 42.000 - 66.000; Jornada completa

Descripción de la vacante

Ksr-Global busca un AI QA Engineer para liderar la calidad de IA en la organización en Lima, Peru. Será referente técnico de evaluación de agentes de IA y garantizará que ninguna solución pase a producción sin ser evaluada, estresada y validada en calidad, seguridad y desempeño.

Responsable de definir lineamientos, pruebas y métricas, colaborando con Ciberseguridad y equipos de desarrollo para asegurar estándares de calidad de IA en todos los pipelines.

Formación

• Experiencia en definir y liderar marcos de evaluación de IA.
• Conocimientos en pruebas de seguridad y rendimiento de IA.
• Capacidad para coordinar con Ciberseguridad y equipos de desarrollo.

Responsabilidades

• Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria.
• Evaluar los agentes de punta a punta y por componente, midiendo calidad, tiempos y precisión.
• Diseñar y coordinar pruebas de red team y validar guardrails con Ciberseguridad.
• Implementar observabilidad bajo OpenTelemetry y automatizar evals en pipelines CI/CD.
• Proponer métricas y difundir estándares de calidad en la organización.

Herramientas

OpenTelemetry

CI/CD

Pruebas de rendimiento

Descripción del empleo

Importante empresa del sector financiero se encuentra en búsqueda de un AI QA Engineer para ser el referente técnico de calidad de IA de la organización. Esta persona será owner del marco de evaluación de agentes de IA y se asegurará de que ninguna solución pase a producción sin haber sido evaluada, estresada y validada en calidad, seguridad y desempeño.

Funciones:

• Definir y liderar los lineamientos de evaluación de agentes de IA con base en buenas prácticas de la industria. Esto incluye categorizar los agentes por criticidad, establecer las pruebas requeridas para cada categoría y fijar los criterios de aprobación para el pase a producción.
• Evaluar los agentes de punta a punta y por componente (orquestación, herramientas, memoria, RAG), midiendo la calidad de respuesta, los tiempos y la precisión, e identificando sus puntos más vulnerables.
• Diseñar y coordinar las pruebas de red team (prompt injection, jailbreaking, fuga de información) y validar guardrails en conjunto con el equipo de Ciberseguridad.
• Implementar la observabilidad de los agentes bajo OpenTelemetry y automatizar las evals y pruebas de no-regresión dentro de los pipelines de CI/CD.
• Proponer de forma proactiva nuevas métricas, prácticas y herramientas de evaluación, y difundir los estándares de calidad a los equipos de la organización.