QA Engineer IA Semi Senior

NTT DATA Europe & Latam; Colombia; Remote; COP 78,120,000 - 167,400,000; Full time

Job summary

NTT DATA Europe & Latam busca un/a QA Engineer IA Semi Senior para diseñar y automatizar pruebas de soluciones basadas en Inteligencia Artificial: agentes, asistentes construidos sobre LLM y arquitecturas RAG. La posición es 100% remota desde Colombia.

Diseñar, ejecutar y automatizar pruebas para agentes y modelos, construir datasets de prueba, definir rúbricas de evaluación de respuestas y validar la interacción con APIs y herramientas externas, integrando todo en pipelines CI/CD.

Qualifications

• Experiencia específica o demostrable en pruebas de soluciones de Inteligencia Artificial.
• Conocimiento práctico de LLMs, ingeniería de prompts, embeddings, RAG y Function Calling.

Responsibilities

• Diseñar y automatizar pruebas para soluciones basadas en IA (agentes y asistentes con LLM).
• Diseñar pruebas de sesgo, fiabilidad, cobertura, dominio, variación, robustez y alucinaciones.
• Validar la interacción del agente con APIs y herramientas externas.
• Integrar las pruebas automatizadas en los pipelines de CI/CD.
• Documentar hallazgos, métricas de calidad y planes de mejora para los equipos de desarrollo.

Skills

QA IA testing

CI/CD

LLMs

Prompt engineering

RAG

Tools

CI/CD pipelines

API testing tools

IDE

Job description

En NTT DATA Europe & Latam buscamos un/a QA Engineer IA Semi Senior para diseñar y automatizar pruebas de soluciones basadas en Inteligencia Artificial: agentes, asistentes construidos sobre LLM y arquitecturas RAG. La posición es 100% remota desde Colombia.

Diseñar, ejecutar y automatizar pruebas para agentes, asistentes conversacionales basados en LLM y arquitecturas RAG.

Construir y mantener datasets de prueba y definir rúbricas de evaluación de las respuestas del modelo.

Diseñar pruebas de sesgo, fiabilidad, cobertura, dominio, variación, robustez y alucinaciones.

Validar la interacción del agente con APIs, MCPs, Skills y herramientas externas.

Integrar las pruebas automatizadas en los pipelines de CI/CD.

Documentar hallazgos, métricas de calidad y planes de mejora para los equipos de desarrollo.

Experiencia específica o demostrable en pruebas de soluciones de Inteligencia Artificial.

Conocimiento práctico de LLMs, ingeniería de prompts, embeddings, RAG y Function Calling.

Experiencia en pruebas de APIs y en programación aplicada a la automatización.

Experiencia trabajando con herramientas de CI/CD.

Manejo de IDEs agénticos y de herramientas de desarrollo asistido por IA.