AI Quality Engineer

Multiplica; Lima Metropolitana; Presencial; PEN 80.000 - 120.000; Jornada completa

Descripción de la vacante

Multiplica busca un/una Ingeniero/a de Calidad de IA para asegurar la calidad de soluciones de IA (GenAI/LLM, RAG, agentes) antes de despliegues. El rol implica definir planes de prueba, automatizar APIs y pruebas E2E, y registrar hallazgos para mejorar prompts y KB.

Se requiere experiencia en QA (4 años) y conocimiento de CI/CD, API testing y herramientas como Postman, Playwright y Grafana. Se valorarán conocimientos en seguridad y cumplimiento regulatorio.

Formación

• Experiencia mínima de 4 años como QA (funcional y automatizado) en productos digitales.

Responsabilidades

• Definir estrategia de QA para IA, criterios de salida y thresholds por criticidad.

Conocimientos

QA

Automatización

API testing

CI/CD

Git

SQL

Python

Herramientas

Postman/Karate

Playwright/Selenium

GitHub/GitLab

GitHub Actions/Jenkins

Grafana/Kibana

SQL tooling

Python

Descripción del empleo

Por encargo de nuestro cliente líder del sector financiero, nos encontramos de la búsqueda de un AI Quality Engineer, quien se encargará de asegurar la calidad de nuestras soluciones de IA (GenAI/LLM, RAG, agentes) antes de que lleguen a producción.

Asegurar la calidad integral (funcional, técnica, de seguridad y de comportamiento) de las soluciones de IA (GenAI/LLM, RAG, agentes y componentes ML) construidas por el Squad de IA, habilitando despliegues a producción con métricas de calidad medibles, riesgos controlados y trazabilidad suficiente para auditoría; reduciendo defectos post-producción y acelerando el time-to-production mediante prácticas de Shift-Left y automatización.

Funciones:

• Definir estrategia de QA - IA, criterios de salida (DoD), thresholds por criticidad (Tier) y suites mínimas; mantener baseline por solución
• Participar desde discovery/diseño; revisar historias y criterios de aceptación; diseñar test plans (happy path, borde y fallbacks) antes de construir.
• Construir “golden sets”; ejecutar pruebas de grounding/consistencia/alucinaciones; validar retrieval y evidencias
• Ejecutar prompt injection/jailbreak, data leakage y misuse de herramientas; validar guardrails y permisos definidos con Arquitectura y Riesgos.
• Mantener automatización de APIs, E2E y regresión de prompts/RAG; integrar en CI/CD y versionado.
• Registrar/priorizar defectos; análisis causa raíz con el squad; proponer mejoras a prompts/KB/retrieval/flujos.
• Definir métricas (éxito, fallback, escalamiento, latencia); revisar logs/telemetría; alertar degradaciones y activar fixes.
• Documentar planes/resultados/evidencias/versiones (prompts/datasets/config); repositorio de artefactos y sign-offs.
• Utilizar herramientas de IA generativa para asistir en la creación de test plans, generación de casos de prueba, análisis de resultados y revisión de código.
• Validar pipelines RAG verificando calidad de retrieval, relevancia de documentos y trazabilidad de evidencias utilizadas por el modelo.
• Profesional universitario de las carreras de Ing. de Sistemas, Computación, Informática o afines
• Deseable contar con formación o certificación en QA (ISTQB Foundation o equivalente) y cursos aplicados a Testing de IA/GenAI (evaluación de LLMs, RAG o agentes).
• Deseable contar con los fundamentos de ML/GenAI (métricas de evaluación, embeddings/retrieval) y nociones de seguridad y privacidad en entornos regulados (DLP, clasificación de datos).

Experiencia:

• Experiencia mínima de 4 años como QA (funcional y automatizado) en productos digitales; ideal corporativo/regulado.
• Experiencia mínima de 2/3 años automatizando APIs y/o E2E; integración en CI/CD.
• Deseable: experiencia validando chatbots/agentes/IA (RAG/LLM/ML) o squads de datos/IA.
• Experiencia con Git (GitHub/GitLab)
• Experiencia con CI/CD: GitHub Actions, Jenkins o equivalente
• Experiencia con Testing: API (Postman/Karate u otros), UI (Playwright/Selenium u otros), gestión de pruebas (Jira/Xray u otro)
• Experiencia con SQL; observabilidad (Grafana/Kibana o similar)
• Deseable experiencia con Python

Otros conocimientos y habilidades:

• GenAI/LLMs: prompting, guardrails, limitaciones, riesgos (prompt injection, leakage)
• RAG: embeddings, retrieval, grounding/evidencia, control de accesos a fuentes
• Seguridad app: OWASP Top 10 + nociones de threat modeling (coordinado con Arq Seguridad)
• Evidencia y trazabilidad para auditoría/regulación
• Evaluación de modelos LLM
• Arquitecturas RAG
• Riesgos de IA (prompt injection, data leakage, hallucinations)

Este anuncio se encuentra abierto para personas con discapacidad.