AI Models Scientist: LLM Evaluation & GenAI Ops (Hybrid)

Fujitsu; Madrid; Híbrido; EUR 52.000 - 72.000; Jornada completa

Descripción de la vacante

Fujitsu Madrid busca un ingeniero especializado en GenAI para evaluar y auditar modelos LLM en entornos productivos. Colaborarás con equipos IAOps/MLOps para monitorizar rendimiento, coste y gobernanza de modelos, y desarrollar dashboards de seguimiento.

Se requiere experiencia de más de 2 años, formación STEM y dominio de inglés y español. La posición es híbrida en Madrid y ofrece oportunidades de crecimiento en proyectos internacionales y tecnología de vanguardia.

Formación

• Experiencia de más de 2 años en puestos similares.
• Formación universitaria en STEM.
• Nivel fluido de español e inglés.

Responsabilidades

• Evaluar y comparar modelos LLM en términos de rendimiento, latencia y costes.
• Monitorizar cambios y deprecaciones de IA y su impacto productivo.
• Optimizar estrategias de prompting según el modelo.
• Definir e implementar frameworks de testing para GenAI.
• Ejecutar testing de regresión y evaluación de outputs.
• Desarrollar dashboards y visualizaciones para seguimiento de resultados.
• Colaborar con IAOps/MLOps en observabilidad y gobierno de modelos.
• Participar en gestión del ciclo de vida y gobierno de modelos en producción.

Conocimientos

GenAI auditing

Educación

Ingeniería Informática / Telecomunicaciones / Matemáticas u STEM

Herramientas

AWS Bedrock

SageMaker

Lambda

CloudWatch

Prompt Engineering

RAGAS / DeepEval

Descripción del empleo

Fujitsu Madrid busca un ingeniero especializado en GenAI para evaluar y auditar modelos LLM en entornos productivos. Colaborarás con equipos IAOps/MLOps para monitorizar rendimiento, coste y gobernanza de modelos, y desarrollar dashboards de seguimiento.

Se requiere experiencia de más de 2 años, formación STEM y dominio de inglés y español. La posición es híbrida en Madrid y ofrece oportunidades de crecimiento en proyectos internacionales y tecnología de vanguardia.