QA Automatizador IA | Pruebas de LLM y CI/CD

1700 Accenture Ltda Company; Medellín; On-site; COP 40,000,000 - 70,000,000; Full time

Job summary

Accenture busca un QA Automatizador para Soluciones de Inteligencia Artificial en Medellín. La función se centra en garantizar la calidad de aplicaciones y agentes de IA mediante automatización de pruebas y validación de escenarios en YAML/JSON.

Únete a un equipo de tecnología que integra IA, automatización y plataformas digitales, trabajando con Azure DevOps y pipelines CI/CD para entregar soluciones robustas y escalables.

Qualifications

• Más de 1 año de experiencia en pruebas de soluciones de Inteligencia Artificial o entornos relacionados.
• Experiencia en automatización de pruebas y aseguramiento de calidad de aplicaciones.
• Conocimientos en evaluación de LLMs, incluyendo hallucination y groundedness.
• Experiencia trabajando con Azure DevOps y procesos CI/CD.

Responsibilities

• Diseñar, desarrollar y mantener frameworks de automatización de pruebas para soluciones basadas en Inteligencia Artificial.
• Ejecutar pruebas funcionales, de integración y validación de agentes de IA.
• Definir y gestionar escenarios de prueba utilizando YAML y JSON.
• Evaluar el desempeño de modelos de lenguaje (LLMs), incluyendo métricas de hallucination, groundedness, relevancia y calidad de respuesta.
• Integrar procesos de pruebas automatizadas dentro de pipelines de Azure DevOps y entornos CI/CD.
• Colaborar con equipos de desarrollo, datos e ingeniería de IA para garantizar la calidad de las soluciones implementadas.
• Analizar resultados, documentar hallazgos y proponer mejoras continuas en los procesos de testing.

Skills

Automatización de pruebas

QA/QC de software

Validación de IA / pruebas de IA

Azure DevOps

CI/CD

Colaboración interdisciplinaria

Tools

Azure DevOps

CI/CD pipelines

Job description

Accenture busca un QA Automatizador para Soluciones de Inteligencia Artificial en Medellín. La función se centra en garantizar la calidad de aplicaciones y agentes de IA mediante automatización de pruebas y validación de escenarios en YAML/JSON.

Únete a un equipo de tecnología que integra IA, automatización y plataformas digitales, trabajando con Azure DevOps y pipelines CI/CD para entregar soluciones robustas y escalables.