Senior ML Evaluation Engineer - Enterprise AI Quality Remote

Intellias

País Vasco

Presencial

EUR 75.000 - 110.000

Jornada completa

Hace 4 días

Sé de los primeros/as/es en solicitar esta vacante

Generador de candidaturas

Destaca para este puesto: genera un currículum y una carta de presentación adaptados en cuestión de un minuto.

Supera los filtros ATS

Descripción de la vacante

Intellias busca un Senior ML / Evaluation Engineer para definir e implementar estándares de calidad en agentes de IA y aplicaciones con LLM. Diseñarás marcos de evaluación, pipelines y puertas de calidad en el ciclo de entrega de IA, trabajando con equipos de AI Platform, ML y DevOps para garantizar sistemas productivos y medibles.

La posición se ofrece en remoto desde España, con contrato indefinido. Te sumarás a observabilidad, trazas OpenTelemetry y evaluaciones determinísticas para mejorar

Formación

5+ años de experiencia en ML engineering o AI platform engineering.
Diseño e implementación de marcos de evaluación para LLMs y agentes IA.
Desarrollo de evaluadores determinísticos y pipelines de calidad.

Responsabilidades

Diseñar, implementar y mantener frameworks de evaluación para LLMs y agentes IA.
Desarrollar evaluadores tipo LLM-as-judge para dimensionar utilidad y corrección.
Integrar evaluaciones en pipelines CI/CD y garantizar gates de calidad.

Conocimientos

ML engineering

AI platform engineering

LLM evaluation

CI/CD gates

Python Lambda

OpenTelemetry

Herramientas

AWS Lambda

AWS Bedrock

OpenTelemetry

Descripción del empleo

La posición se ofrece en remoto desde España, con contrato indefinido. Te sumarás a observabilidad, trazas OpenTelemetry y evaluaciones determinísticas para mejorar

Consigue la evaluación confidencial y gratuita de tu currículum.

o arrastra y suelta tu archivo aquí