AI Quality Engineer

Correval S.A.; Lima Metropolitana; Híbrido; PEN 65.000 - 95.000; Jornada completa

Descripción de la vacante

Correval S.A. busca un AI Quality Engineer para el equipo de GEN AI & Innovación, en Lima, Perú. Se responsabilizará de asegurar la calidad integral de soluciones de IA, incluyendo pruebas funcionales, técnicas y de seguridad, con foco en producción, trazabilidad y reducción de defectos.

El/la candidato/a ideal posee experiencia en QA de IA, automatización de APIs y E2E, conocimiento de ML/GenAI y capacidad para trabajar con pipelines de CI/CD, guardrails y evaluación de modelos.

Formación

• Profesional universitario en Ingeniería de Sistemas, Computación, Informática o afines.
• Deseable certificación en QA (ISTQB Foundation o equivalente) y cursos en IA/GenAI.
• Conocimientos de ML/GenAI y seguridad en entornos regulados.

Responsabilidades

• Definir estrategia de QA - IA, criterios de salida y suites mínimas para cada solución.
• Diseñar test plans (happy path, borde y fallbacks) y revisar historias/criterios de aceptación.
• Construir "golden sets" y validar grounding, consistencia y evidencias.
• Ejecutar pruebas de prompt injection, data leakage y misuse; validar guardrails.
• Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrarla en CI/CD.
• Registrar y priorizar defectos; analizar causas raíz y proponer mejoras a prompts/KB.
• Definir métricas de éxito, latencia y escalamiento; vigilar logs y telemetría.
• Documentar planes/resultados/evidencias/versiones; gestionar repositorio de artefactos.
• Utilizar IA generativa para crear planes de prueba y analizar resultados.

Conocimientos

QA IA

Automatización API

CI/CD

Testing de IA

Inglés técnico

Educación

Ingeniería de Sistemas

Herramientas

Git

GitHub/GitLab

Postman

Playwright

Selenium

Jira/Xray

SQL

Grafana

Kibana

Python

Descripción del empleo

Credicorp Capital te invita a Convertir Desafíos en Oportunidades y ser nuestro/a próximo/a AI Quality Engineer para el equipo de GEN AI & Innovación, en Lima, Perú.

Misión:

Asegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.

Funciones:

• Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución

• Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.

• Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias

• Ejecutar prompt injection/jailbreak, data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.

• Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.

• Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.

• Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.

• Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.

• Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba, análisis de resultados y revisión de código.

• Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.

Requisitos:

• Profesional universitario de las carreras de Ing. de Sistemas, Computación, Informática o afines

• Deseable contar con formación o certificación en QA (ISTQB Foundation o equivalente) y cursos aplicados a Testing de

  IA/GenAI (evaluación de LLMs, RAG o agentes).

• Deseable contar con los fundamentos de ML/GenAI (métricas de evaluación, embeddings/retrieval) y nociones de seguridad y

  privacidad en entornos regulados (DLP, clasificación de datos).

Experiencia:

• Experiencia mínima de 4 años como QA (funcional y automatizado) en productos digitales; ideal corporativo/regulado.

• Experiencia mínima de 2/3 años automatizando APIs y/o E2E; integración en CI/CD.

• Deseable: experiencia validando chatbots/agentes/IA (RAG/LLM/ML) o squads de datos/IA.

Idiomas:

• Manejo de Inglés intermedio (lectura/escritura técnica)

• Manejo deseable de ingles intermedio-avanzado.

Software:

• Experiencia con Git (GitHub/GitLab)

• Experiencia con CI/CD: GitHub Actions, Jenkins o equivalente

• Experiencia con Testing: API (Postman/Karate u otros), UI (Playwright/Selenium u otros), gestión de pruebas (Jira/Xray u otro)

• Experiencia con SQL; observabilidad (Grafana/Kibana o similar)

• Deseable experiencia con Python

Otros conocimientos y habilidades:

• GenAI/LLMs: prompting, guardrails, limitaciones, riesgos (prompt injection, leakage)

• RAG: embeddings, retrieval, grounding/evidencia, control de accesos a fuentes

• Seguridad app: OWASP Top 10 + nociones de threat modeling (coordinado con Arq Seguridad)

• Evidencia y trazabilidad para auditoría/regulación

• Evaluación de modelos LLM

• Arquitecturas RAG

• Riesgos de IA (prompt injection, data leakage, hallucinations)

Este anuncio se encuentra abierto para personas con discapacidad.