SENIOR AI QA ENGINEER

Banco de Crédito BCP; Lima Metropolitana; On-site; PEN 60,000 - 110,000; Full time

Benefits offered by this job

Pago de Bonos por Desempeño

Oportunidades de desarrollo

Job summary

Banco de Crédito BCP busca un ingeniero/a de QA con 3+ años en QA de software y 2+ años en IA/ML para liderar evaluaciones de sistemas y datasets. Se valorará Python avanzado, experiencia en CI/CD y certificaciones ISTQB. Trabajarás en automatización, guardrails y pruebas de seguridad de IA.

Ofrecemos oportunidades de desarrollo, bonos por desempeño y un entorno donde tu voz impulsa el cambio. Si te interesa, únete a nuestro equipo de innovación.

Qualifications

• Formación en Ingeniería de Sistemas, Software o afín.
• 3+ años en QA de software; 2+ años en IA/ML/LLMs.
• Python avanzado para scripting y automatización.

Responsibilities

• Construir datasets y evaluaciones de cada componente (RAG, agentes, memoria).
• Automatizar evaluaciones dentro del pipeline CI/CD para gating.
• Implementar guardrails y pruebas de seguridad de IA.
• Monitorear calidad en producción, gestionar incidentes de QA.

Skills

Python

IA/ML QA

QA de software

Inglés técnico

Education

Ingeniería de Sistemas

ISTQB Advanced (deseable)

Tools

CI/CD

Job description

¡Únete al Equipo BCP! Sé parte de una comunidad que no conoce fronteras, con un propósito en común que nos motiva e inspira para impactar en los planes de millones de peruanos, transformándolos en realidad. ¿Quieres pertenecer a algo grande? ¡Aquí Es!

¿Qué esperamos de ti?

• Construir y mantener los golden sets y datasets de evaluación de cada componente (Creación, versionado y expansión periódica) e implementar las métricas por tipo de componente: RAG (groundedness, context relevance), agentes (task completion, tool-use accuracy) y memoria (retrieval precision).
• Automatizar las evals dentroo del pipeline de CI/CD para que operen como release gate y no como control posterior, operando las herramientas de evaluación del área (Azure AI Evaluation SDK, Promptflow Evaluators, LangSmith, Ragas o equivalentes).
• Implementar guardrails de entrada y salida (filtros de contenido, detección de PII, validación de formayo) y ejecutar pruebas adversariales, de robustez y red-teaming estructurado (prompt injection, jailbreaking, boundary conditions, inputs inesperados) verificando el cumplimiento de las políticas de seguridad, privacidad y gobierno de IA del banco antes de cada release.
• Ejecutar el ciclo de no-regresión y bloquear el release cuando el componente degrade su comportamiento; monitorear la calidad en producción (drift, degradación de evals, alertas), mantener dashboards e historial accesibles a los equipos consumidores y gestionar los incidentes de calidad hasta su remedación documentada.
• Bachiller o titulado de las carreras de Ingeniería de Sistemas, Software, Ciencias de la Computación, Informática o carreras afines.
• Experiencia de 3 o más años en QA de software, ingeniería de calidad o SDET en entornos productivos.
• Experiencia de 2 o más años en calidad de sistemas de IA/ML o LLMs.
• Nivel avanzado de Python para scripting de evals y automatización; métricas de evaluación de LLMs; construcción, versionado y mantenimiento de golden sets y datasets de evaluación; testing automatizado unitario, de integración, de contrato y de regresión.
• Inglés intermedio para lectura y comprensión de documentación técnica especializada y papers de investigación.
• Deseable: Certificación en ISTQB Advanced, Azure AI Engineer Associate o equivalente.
• Deseable: Especialización en evaluación de sistemas de IA, testing de LLMs o AI Safety.
• Ambiente empoderador: Únete a un entorno de trabajo donde tu voz importa y tus ideas impulsan el cambio.
• Crecimiento profesional: Disfruta de oportunidades de desarrollo continúo, respaldadas por un equipo comprometido con tu éxito.
• Compensación competitiva: Recibe una compensación atractiva y beneficios flexibles diseñados para adaptarse a tu estilo de vida y metas personales.

¿Qué beneficios disfrutarás?

• Pago de Bonos por Desempeño.
• Oportunidades de desarrollo

“Somos una organización comprometida con la igualdad de derechos y oportunidades. Nuestros procesos de selección se rigen bajo una política donde nuestras/os postulantes son consideradas/os sin importar su origen, género, raza o cualquier otra característica, condición o preferencia, promoviendo así una cultura de respeto mutuo”