AI QA Automation Engineer - Generative AI Testing & CI/CD

Capgemini; Ciudad de México; Presencial; MXN 446.000 - 670.000; Jornada completa

Descripción de la vacante

Capgemini México busca un profesional de QA y automatización para diseñar y mantener frameworks de pruebas para aplicaciones web, APIs y soluciones en IA. El rol requiere validar IA Generativa, chatbots y modelos basados en LLMs, evaluando precisión y fiabilidad, con énfasis en detección de sesgos y alucinaciones.

Colaborarás con Data Science, ML e IA en un entorno de nube. Se trabajará en pipelines CI/CD, implementación de pruebas continuas y generación de informes de calidad, manteniendo

Responsabilidades

• Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
• Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
• Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
• Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
• Diseñar estrategias para detección de alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
• Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
• Automatizar pruebas de APIs utilizando herramientas especializadas.
• Implementar pruebas continuas dentro de pipelines CI/CD.
• Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
• Definir métricas de calidad para aplicaciones basadas en IA.
• Analizar resultados de pruebas y generar reportes de calidad.
• Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.
• Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
• Identificar riesgos funcionales y de calidad antes de la liberación de productos.
• Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
• Experiencia en observabilidad y monitoreo de aplicaciones de IA.
• Pensamiento analítico.
• Atención al detalle.
• Resolución de problemas complejos.
• Comunicación efectiva con equipos técnicos y de negocio.
• Capacidad para investigar comportamientos no determinísticos en sistemas de IA.
• Trabajo colaborativo en equipos multidisciplinarios.

Descripción del empleo

Capgemini México busca un profesional de QA y automatización para diseñar y mantener frameworks de pruebas para aplicaciones web, APIs y soluciones en IA. El rol requiere validar IA Generativa, chatbots y modelos basados en LLMs, evaluando precisión y fiabilidad, con énfasis en detección de sesgos y alucinaciones.

Colaborarás con Data Science, ML e IA en un entorno de nube. Se trabajará en pipelines CI/CD, implementación de pruebas continuas y generación de informes de calidad, manteniendo