Senior ML Evaluation Engineer (Remote - Spain)

Intellias; España; Presencial; EUR 90.000 - 130.000; Jornada completa

Descripción de la vacante

Intellias busca un Senior ML / Evaluation Engineer para definir y aplicar estándares de calidad en IA, diseñar marcos de evaluación, pipelines y gates de calidad a lo largo del ciclo de vida de IA, garantizando sistemas confiables y medibles.

Trabajarás junto a AI Platform, ML y DevOps para implementar evaluadores determinísticos en Python con AWS Lambda, usar observabilidad (OpenTelemetry) y definir indicadores de calidad; la posición es remota desde España con contrato indefinido.

Formación

• 5+ años en ML engineering o AI platform engineering.
• Diseño e implementación de marcos de evaluación para LLMs.
• Desarrollar evaluadores determinísticos para validaciones de calidad.
• Diseño de gates de CI/CD para modelos/agentes de ML.
• Experiencia con AWS AgentCore en modo on-demand/online.

Responsabilidades

• Diseñar, implementar y mantener marcos de evaluación para LLMs y flujos de IA.
• Desarrollar evaluadores tipo 'LLM-as-judge' para dimensiones de utilidad y corrección.
• Crear evaluadores en Python usando AWS Lambda para validación determinista.
• Definir estándares y criterios de calidad a lo largo de plataformas de IA.
• Integrar evaluaciones en pipelines CI/CD y monitoreo de calidad.

Conocimientos

5+ years ML engineering

LLM evaluation framework design

Deterministic quality checks

CI/CD gates for ML

AWS AgentCore Evaluation

LLM-as-judge evaluators

Python (Lambda) evaluators

Evaluation levels: TRACE/TOOLCALL/WORK

OpenTelemetry observability

Herramientas

AWS Lambda

OpenTelemetry

AgentCore

Descripción del empleo

Intellias busca un Senior ML / Evaluation Engineer para definir y aplicar estándares de calidad en IA, diseñar marcos de evaluación, pipelines y gates de calidad a lo largo del ciclo de vida de IA, garantizando sistemas confiables y medibles.

Trabajarás junto a AI Platform, ML y DevOps para implementar evaluadores determinísticos en Python con AWS Lambda, usar observabilidad (OpenTelemetry) y definir indicadores de calidad; la posición es remota desde España con contrato indefinido.