QA Engineer IA: Pruebas Automatizadas de LLM y RAG (Remote)

NTT DATA Europe & Latam; Colombia; Remote; COP 78,120,000 - 167,400,000; Full time

Job summary

NTT DATA Europe & Latam busca un/a QA Engineer IA Semi Senior para diseñar y automatizar pruebas de soluciones basadas en Inteligencia Artificial: agentes, asistentes construidos sobre LLM y arquitecturas RAG. La posición es 100% remota desde Colombia.

Diseñar, ejecutar y automatizar pruebas para agentes y modelos, construir datasets de prueba, definir rúbricas de evaluación de respuestas y validar la interacción con APIs y herramientas externas, integrando todo en pipelines CI/CD.

Qualifications

• Experiencia específica o demostrable en pruebas de soluciones de Inteligencia Artificial.
• Conocimiento práctico de LLMs, ingeniería de prompts, embeddings, RAG y Function Calling.

Responsibilities

• Diseñar y automatizar pruebas para soluciones basadas en IA (agentes y asistentes con LLM).
• Diseñar pruebas de sesgo, fiabilidad, cobertura, dominio, variación, robustez y alucinaciones.
• Validar la interacción del agente con APIs y herramientas externas.
• Integrar las pruebas automatizadas en los pipelines de CI/CD.
• Documentar hallazgos, métricas de calidad y planes de mejora para los equipos de desarrollo.

Skills

QA IA testing

CI/CD

LLMs

Prompt engineering

RAG

Tools

CI/CD pipelines

API testing tools

IDE

Job description

NTT DATA Europe & Latam busca un/a QA Engineer IA Semi Senior para diseñar y automatizar pruebas de soluciones basadas en Inteligencia Artificial: agentes, asistentes construidos sobre LLM y arquitecturas RAG. La posición es 100% remota desde Colombia.

Diseñar, ejecutar y automatizar pruebas para agentes y modelos, construir datasets de prueba, definir rúbricas de evaluación de respuestas y validar la interacción con APIs y herramientas externas, integrando todo en pipelines CI/CD.