Senior ML Evaluation Engineer - AI Quality Gates

Intellias; Barcelona; Presencial; EUR 90.000 - 130.000; Jornada completa

Descripción de la vacante

Intellias Barcelona busca un Ingeniero Senior de ML / Evaluación para definir y aplicar estándares de calidad en IA y LLMs. Diseñará marcos de evaluación, pipelines y puertas automáticas, trabajando con equipos de AI Platform, ML y DevOps para sistemas de IA fiables y observables.

El rol se desempeñará en un entorno remoto desde España, con contrato indefinido, en la Plataforma Enterprise, gestionando prácticas de gobernanza y calidad a lo largo del ciclo de vida del desarrollo.

Formación

• Más de 5 años de experiencia en ML o ingeniería de plataformas AI.
• Diseño e implementación de marcos de evaluación para LLMs y agentes.
• Implementación de evaluadores determinísticos en Python.
• Experiencia con CI/CD y gates de calidad para ML.
• Conocimientos de observabilidad y trazas OpenTelemetry.
• Conocimientos de AWS AgentCore y servicios relacionados.

Responsabilidades

• Diseñar, implementar y mantener marcos de evaluación para LLMs, agentes IA y flujos de trabajo IA.
• Desarrollar evaluadores tipo 'LLM-as-a-judge' para dimensiones como utilidad y corrección.
• Crear evaluadores Python con Lambda para validación determinística y cumplimiento de reglas.
• Definir estándares de evaluación y criterios de paso/fallo a través de plataformas IA.
• Integrar flujos de evaluación en pipelines CI/CD y establecer puertas de calidad.

Conocimientos

ML engineering

Evaluation frameworks

Python

AWS Lambda

CI/CD gates

Herramientas

AWS Lambda

OpenTelemetry

CI/CD pipelines

Descripción del empleo

Intellias Barcelona busca un Ingeniero Senior de ML / Evaluación para definir y aplicar estándares de calidad en IA y LLMs. Diseñará marcos de evaluación, pipelines y puertas automáticas, trabajando con equipos de AI Platform, ML y DevOps para sistemas de IA fiables y observables.

El rol se desempeñará en un entorno remoto desde España, con contrato indefinido, en la Plataforma Enterprise, gestionando prácticas de gobernanza y calidad a lo largo del ciclo de vida del desarrollo.