GenAI Model Quality & MLOps Scientist

Fujitsu Careers; Madrid; Presencial; EUR 45.000 - 68.000; Jornada completa

Descripción de la vacante

Fujitsu busca un profesional para liderar evaluación y gobierno de modelos IA en entornos productivos. Se valorarán sólidas Aptitudes en GenAI, LLMs y observabilidad.

El rol implica diseño de pipelines, pruebas y dashboards para seguimiento de resultados, colaboración con equipos globales y gestión de ciclo de vida de modelos en producción.

Se ofrece integración con equipos IAOps/MLOps y enfoque en optimización de costes y rendimiento de soluciones GenAI.

Formación

• Experiencia de más de 2 años en roles similares.
• Grado universitario en ingeniería informática, telecomunicaciones, matemáticas u otra STEM.
• Experiencia sólida con LLMs en entornos productivos.
• GenAI con enfoque en auditing, evaluating y monitoring.
• Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.
• Conocimiento en Prompt Engineering.
• Experiencia con marcos de evaluación de LLMs (RAGAS, DeepEval).
• Experiencia en AB testing y experimentación.
• Conocimiento de observabilidad de IA.
• Comprensión de gobierno de IA y ciclo de vida de modelos.

Responsabilidades

• Evaluar y comparar modelos LLM por rendimiento, latencia y costes.
• Monitorear cambios y deprecaciones de modelos IA en productivo.
• Optimizar prompting según comportamiento de cada modelo.
• Definir e implementar frameworks de testing para GenAI.
• Ejecutar testing de regresión y evaluación de outputs.
• Diseñar pipelines de evaluación y monitorización de IA.
• Desarrollar dashboards para seguimiento y análisis de resultados.
• Colaborar con IAOps/MLOps en observabilidad y gobierno de modelos.
• Generar recomendaciones para selección de modelos y reducción de costes.
• Gestión de ciclo de vida y gobierno de modelos IA en producción.
• Colaborar con equipos locales e internacionales.

Conocimientos

2+ años experiencia

Grado STEM

LLMs en productivos

GenAI auditing

AWS Bedrock

SageMaker

CloudWatch

Prompt Engineering

Evaluación LLMs

AB testing

Observabilidad IA

Gobierno IA

Educación

Grado STEM

Herramientas

AWS Bedrock

SageMaker

Lambda

CloudWatch

Descripción del empleo

Fujitsu busca un profesional para liderar evaluación y gobierno de modelos IA en entornos productivos. Se valorarán sólidas Aptitudes en GenAI, LLMs y observabilidad.

El rol implica diseño de pipelines, pruebas y dashboards para seguimiento de resultados, colaboración con equipos globales y gestión de ciclo de vida de modelos en producción.

Se ofrece integración con equipos IAOps/MLOps y enfoque en optimización de costes y rendimiento de soluciones GenAI.