Senior ML Evaluation Engineer — Remote (Spain)

Intellias; Córdoba; Presencial; EUR 90.000 - 130.000; Jornada completa

Descripción de la vacante

Intellias, Córdoba, España, busca un Senior ML / Evaluation Engineer para definir e implementar estándares de calidad para agentes IA y aplicaciones impulsadas por LLM. Diseñar marcos de evaluación, pipelines y puertas de calidad automatizadas a lo largo del ciclo de entrega.

Colaborar con AI Platform Engineers, ML Engineers y DevOps para lograr sistemas productivos, observabilidad y gobernanza, con foco en evaluación escalable y métricas de rendimiento.

Formación

• 5+ años de experiencia en ML engineering o AI platform engineering.
• LLM evaluation framework design and implementation.
• Custom evaluator implementation for deterministic quality checks.
• CI/CD deployment gate design for ML model or agent quality.
• AWS AgentCore Evaluation (on-demand mode for CI/CD gates, online mode for production sampling).
• LLM-as-a-judge evaluator design (built-in AgentCore evaluators - helpfulness, correctness).
• Custom code-based Lambda evaluators (Python - deterministic checks).
• Evaluation levels (TRACE for per-response, TOOL_CALL for per-invocation, SESSION for workflow).
• OTel spans from AWS AgentCore Observability as evaluation input.
• Enterprise evaluation standard authoring (mandatory dimensions, pass/fail criteria).

Responsabilidades

• Diseñar, implementar y mantener marcos de evaluación empresariales para LLMs, agentes de IA y flujos de trabajo de IA multi-etapas.
• Desarrollar evaluadores LLM-as-a-judge para medir dimensiones como utilidad, corrección, consistencia y cumplimiento de políticas.
• Crear evaluadores personalizados en Python usando AWS Lambda para validación determinista, aplicación de reglas y controles de calidad de flujos de trabajo.
• Definir e implementar estándares de evaluación, dimensiones de calidad obligatorias, metodologías de puntuación y criterios de aprobación/rechazo.
• Diseñar estrategias de evaluación en múltiples niveles: TRACE, TOOL_CALL y SESSION.
• Integrar flujos de evaluación en pipelines CI/CD y establecer puertas de calidad de implementación para aplicaciones impulsadas por IA.
• Aprovechar AWS AgentCore Evaluation para evaluaciones bajo demanda y monitoreo de calidad en producción.
• Utilizar datos de observabilidad, trazas OpenTelemetry y señales de telemetría de AgentCore como inputs de evaluación.
• Colaborar con equipos de plataforma, seguridad e IA para mejorar fiabilidad y calidad operativa.
• Analizar resultados de evaluación, identificar regresiones y tomar acciones correctivas sobre modelos, prompts, herramientas y flujos.
• Definir mecanismos de monitoreo e informes de resultados de evaluación, tendencias de calidad y KPI operativos.
• Contribuir a la gobernanza corporativa de IA, metodologías de pruebas y buenas prácticas de evaluación.

Conocimientos

LLM evaluation

Evaluator implementation

CI/CD gates

AWS AgentCore

Python Lambda

OpenTelemetry

Observability

Herramientas

AWS Lambda

AgentCore

OpenTelemetry

AWS Bedrock

CI/CD tooling

Descripción del empleo

Intellias, Córdoba, España, busca un Senior ML / Evaluation Engineer para definir e implementar estándares de calidad para agentes IA y aplicaciones impulsadas por LLM. Diseñar marcos de evaluación, pipelines y puertas de calidad automatizadas a lo largo del ciclo de entrega.

Colaborar con AI Platform Engineers, ML Engineers y DevOps para lograr sistemas productivos, observabilidad y gobernanza, con foco en evaluación escalable y métricas de rendimiento.