Automation Tester, IA

Jobtailor; Aguascalientes; Presencial; MXN 600.000 - 900.000; Jornada completa

Descripción de la vacante

Jobtailor está buscando un/a profesional experimentado/a en QA de IA para diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en IA. Colaborarás con Desarrollo, Data Science y ML para asegurar la calidad de soluciones IA.

Se valorará experiencia en pruebas funcionales, de integración y End-to-End, así como en validación de modelos y métricas de calidad.

Formación

• Experiencia como profesional experimentado en QA de IA y automatización de pruebas.
• Conocimientos en frameworks de pruebas y en herramientas para IA.
• Certificaciones ISTQB y Azure AI Engineer son deseables.
• Capacidad para trabajar en equipos multidisciplinarios.

Responsabilidades

• Diseñar y mantener marcos de automatización de pruebas.
• Validar modelos y soluciones IA.
• Ejecutar pruebas de end-to-end e integración.
• Colaborar con Dev, Data Science y ML.

Conocimientos

Pensamiento analítico

Atención al detalle

Comunicación efectiva

Trabajo colaborativo

Educación

ISTQB Certification

Microsoft Azure AI Engineer Associate (AI-102)

Herramientas

Promptfoo

DeepEval

LangSmith

OpenAI Evals

Azure AI Search

Pinecone

Vector Databases

LangChain

Semantic Kernel

Databricks

Descripción del empleo

• Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.


• Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.


• Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.


• Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.


• Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.


• Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).


• Automatizar pruebas de APIs utilizando herramientas especializadas.


• Implementar pruebas continuas dentro de pipelines CI/CD.


• Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.


• Definir métricas de calidad para aplicaciones basadas en IA.


• Analizar resultados de pruebas y generar reportes de calidad.


• Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.


• Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.


• Identificar riesgos funcionales y de calidad antes de la liberación de productos.


• Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.


• Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores.


• Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.

Requirements

• Experiencia como profesional experimentado (Experienced Professionals).


• Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone, Vector Databases, LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.


• Deseable certificación ISTQB.


• Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).


• Deseable experiencia en observabilidad y monitoreo de aplicaciones de IA.


• Pensamiento analítico.


• Atención al detalle.


• Resolución de problemas complejos.


• Comunicación efectiva con equipos técnicos y de negocio.


• Capacidad para investigar comportamientos no determinísticos en sistemas de IA.


• Trabajo colaborativo en equipos multidisciplinarios.

Core Competencies

Demonstrates expertise in designing and maintaining automation frameworks for web applications and AI solutions, with a strong focus on implementing automated testing strategies and validating AI models. Proficient in collaborating with cross-functional teams to enhance quality assurance practices and deliver value-added services.

Highest-signal resume keywords

• Automated Testing Framework Development


• AI Model Validation


• CI/CD Pipeline Implementation


• Azure AI Solutions


• ISTQB Certification

Hard Skills

• Automated Testing


• Integration Testing


• End-to-End Testing


• API Testing


• Quality Metrics Definition


• Prompt Engineering


• Data Analysis


• AI Testing


• Observability


• Problem Solving

Soft Skills

• Analytical Thinking


• Attention to Detail


• Effective Communication


• Collaborative Work

Certifications & Qualifications

• ISTQB Certification


• Microsoft Azure AI Engineer Associate (AI-102)

Industry Keywords

• AI Solutions


• Generative AI


• Chatbots


• Machine Learning


• Quality Assurance


• Automation


• Cloud Platforms


• RAG Architectures

Tools & Technologies

• Promptfoo


• DeepEval


• LangSmith


• OpenAI Evals


• Azure AI Search


• Pinecone


• Vector Databases


• LangChain


• Semantic Kernel


• Databricks