Ingeniero(a) de Calidad de Software e IA (QA Engineer)

Universidad de Los Andes; Bogotá; On-site; COP 46,872,000 - 78,120,000; Full time

Job summary

Universidad de Los Andes busca un líder de QA para garantizar la calidad de soluciones de automatización con IA Generativa y operaciones de integración de modelos de atención en entornos complejos.

La función implica diseñar pruebas de modelos probabilísticos, evitar sesgos y alucinaciones, y facilitar transiciones sin fricciones hacia intervención humana cuando sea necesario. Se espera experiencia en automatización y ciclos ágiles.

Qualifications

• Profesional universitario en Ingeniería de Sistemas, Software o Electrónica o carreras afines.
• Deseable ISTQB y certificaciones en automatización (Selenium, Cypress, Playwright).
• Experiencia de 1–3 años en QA de productos digitales con IA.
• Conocimientos en marcos de evaluación de IA generativa y métricas de fidelidad.
• Participación en ciclos ágiles y prácticas Scrum o Kanban.

Responsibilities

• Diseñar estrategias de pruebas para IA Generativa.
• Desarrollar pruebas de seguridad y resiliencia de IA.
• Pruebas de integración y omnicanalidad entre autoservicio y gestores humanos.
• Automatizar flujos de pruebas para software y datos de validación.
• Participar en ceremonias ágiles y promover mejoras de calidad.

Skills

Cypress

Selenium

Postman

Ragas

LangSmith

TruLens

Prompt engineering

Scrum

Kanban

Education

Ingeniería de Sistemas

Ingeniería de Software

Ingeniería Electrónica

Tools

ISTQB

Selenium

Cypress

Playwright

Ragas

LangSmith

TruLens

Postman

Job description

Buscamos un(a) líder que asegure la calidad, confiabilidad, seguridad y consistencia de nuestras soluciones de automatización basadas en Inteligencia Artificial Generativa y en las integraciones del modelo de atención.

Tu misión será liderar la transición desde pruebas de software tradicionales hacia estrategias de validación de modelos probabilísticos, garantizando que la IA y las herramientas de autogestión, respondiendo con precisión a las necesidades de los usuarios, mitigando riesgos de sesgo o alucinación en sus respuestas y facilitando una transición transparente y sin fricciones hacia los agentes humanos cuando sea necesario.

Diseño de estrategias de pruebas para IA Generativa

• Desarrollar metodologías y marcos de trabajo para evaluar la variabilidad, coherencia, tono y precisión de las respuestas generadas por los LLMs, más allá de los casos de prueba tradicionales.

Pruebas de seguridad y resiliencia

• Diseñar y ejecutar pruebas de ataque, como inyección de prompts o intentos de manipulación de bots, para identificar vulnerabilidades y asegurar que las barreras de seguridad funcionen correctamente antes de salir a producción.
• Apoyar al PO en la verificación de historias de usuario mediante controles dinámicos y alertas inteligentes, asegurando que el sistema anticipe y resuelva las necesidades del usuario antes de marcar un producto como entregado.
• Implementar y mantener flujos de pruebas automatizadas tanto para los componentes de software tradicionales como para evaluar conjuntos de datos de validación (evaluación automatizada de prompts y respuestas).

Pruebas de integración y omnicanalidad

• Validar con rigurosidad técnica que la transferencia o desborde desde el autoservicio (N0) hacia los gestores humanos del siguiente nivel ocurra de manera transparente, transfiriendo el contexto completo de la conversación sin fricciones para el usuario.

Participación en el ciclo ágil y mejora continua

• Participar en activamente en las ceremonias de la célula (Sprint Planning, Daily, Review y Retrospective). Aportar una visión crítica en las retrospectivas para optimizar las dinámicas de desarrollo y co-creation bajo un enfoque de prevención de defectos.
• Profesional universitario(a) en Ingeniería de Sistemas, Ingeniería de Software, Ingeniería Electrónica o carreras afines.
• Deseable: Certificaciones en ISTQB (International Software Testing Qualifications Board), certificaciones en automatización de pruebas (Selenium, Cypress, Playwright) o cursos especializados en testing/evaluación de modelos de Inteligencia Artificial.
• Experiencia de 1 a 3 años desempeñándose como Ingeniero(a) de QA en productos digitales, automatizando pruebas de software o participando en el control de calidad de canales conversacionales e integraciones basadas en IA. Experiencia general en áreas de tecnología, desarrollo de software o control de calidad de TI.

Conocimientos clave:

• Manejo de herramientas como Cypress, Selenium o Postman.
• Conocimiento de frameworks de evaluación de IA generativa como Ragas, LangSmith, TruLens o similares; para medir métricas de fidelidad, relevancia de respuesta y asertividad.
• Ingeniería de prompts avanzada, dominio de técnicas de estructuración de instrucciones para LLMs (OpenAI, Anthropic, LLAs, etc.), control de temperatura, top-p, y manejo de ventanas de contexto.
• Conocimiento sólido de Scrum o Kanban y de cómo el rol de QA se integra desde el día cero en el diseño de las historias de usuario.