Data Scientist / AI Models

Fujitsu Careers; Madrid; Presencial; EUR 45.000 - 68.000; Jornada completa

Descripción de la vacante

Fujitsu busca un profesional para liderar evaluación y gobierno de modelos IA en entornos productivos. Se valorarán sólidas Aptitudes en GenAI, LLMs y observabilidad.

El rol implica diseño de pipelines, pruebas y dashboards para seguimiento de resultados, colaboración con equipos globales y gestión de ciclo de vida de modelos en producción.

Se ofrece integración con equipos IAOps/MLOps y enfoque en optimización de costes y rendimiento de soluciones GenAI.

Formación

• Experiencia de más de 2 años en roles similares.
• Grado universitario en ingeniería informática, telecomunicaciones, matemáticas u otra STEM.
• Experiencia sólida con LLMs en entornos productivos.
• GenAI con enfoque en auditing, evaluating y monitoring.
• Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.
• Conocimiento en Prompt Engineering.
• Experiencia con marcos de evaluación de LLMs (RAGAS, DeepEval).
• Experiencia en AB testing y experimentación.
• Conocimiento de observabilidad de IA.
• Comprensión de gobierno de IA y ciclo de vida de modelos.

Responsabilidades

• Evaluar y comparar modelos LLM por rendimiento, latencia y costes.
• Monitorear cambios y deprecaciones de modelos IA en productivo.
• Optimizar prompting según comportamiento de cada modelo.
• Definir e implementar frameworks de testing para GenAI.
• Ejecutar testing de regresión y evaluación de outputs.
• Diseñar pipelines de evaluación y monitorización de IA.
• Desarrollar dashboards para seguimiento y análisis de resultados.
• Colaborar con IAOps/MLOps en observabilidad y gobierno de modelos.
• Generar recomendaciones para selección de modelos y reducción de costes.
• Gestión de ciclo de vida y gobierno de modelos IA en producción.
• Colaborar con equipos locales e internacionales.

Conocimientos

2+ años experiencia

Grado STEM

LLMs en productivos

GenAI auditing

AWS Bedrock

SageMaker

CloudWatch

Prompt Engineering

Evaluación LLMs

AB testing

Observabilidad IA

Gobierno IA

Educación

Grado STEM

Herramientas

AWS Bedrock

SageMaker

Lambda

CloudWatch

Descripción del empleo

¿Cuáles serán tus responsabilidades?

• Evaluar y comparar modelos LLM (OpenAI, Anthropic, etc.) en términos de rendimiento, latencia y costes.
• Monitorizar cambios y deprecaciones de modelos IA y evaluar su impacto en entornos productivos
• Optimizar estrategias de prompting según el comportamiento y capacidades de cada modelo.
• Definir e implementar frameworks de testing para soluciones GenAI.
• Ejecutar testing de regresión, testing de prompts y evaluación de outputs.
• Diseñar pipelines de evaluación y monitorización de modelos IA.
• Desarrollar dashboards y visualizaciones para seguimiento y análisis de resultados.
• Colaborar con equipos IAOps/MLOps en observabilidad, logging y gobierno de modelos.
• Generar recomendaciones para selección de modelos, optimización de costes y mitigación de riesgos.
• Participar en la gestión del ciclo de vida y gobierno de modelos IA en producción.
• Trabajar en coordinación con equipos locales e internacionales.

¿Qué habilidades y experiencia requerimos de ti?

• Experiencia demás 2 añosen posiciones similares.
• Titulación universitaria en Ingeniería Informática, Telecomunicaciones, Matemáticas u otras titulaciones STEM relacionadas.
• Experiencia sólida con LLMs en entornos productivos.
• Experiencia en GenAI enfocada en auditing, evaluating y monitoring.
• Experiencia con AWS: Bedrock, SageMaker, Lambda y CloudWatch.Conocimiento en Prompt Engineering.
• Experiencia con frameworks de evaluación de LLMs como RAGAS, DeepEval o similares.
• Experiencia en A/B testing y experimentación.Conocimiento de observabilidad y monitorización de soluciones IA.
• Comprensión del gobierno de IA y ciclo de vida de modelos.