Ingeniero De Software

Shakers; Asturias; Presencial; EUR 60.000 - 90.000; Jornada completa

Descripción de la vacante

Shakers busca un Ingeniero de AI Runtime & Evaluation para diseñar, implementar y evaluar arquitecturas de agentes de IA a escala productiva. Serás clave para crear sistemas de evaluación robustos, gestionar el runtime de agentes y fortalecer la observabilidad.

Trabajarás en el ciclo de vida de agentes IA en producción real, no POC, colaborando con equipos de IA y backend. Se valorará experiencia con MCP, workflows de planning y tool calling, y capacidad de medir calidad, rendimiento y

Formación

• Experiencia diseñando y desplegando arquitecturas de agentes IA en producción.
• Experiencia práctica con runtime de agentes end-to-end (execution loop, retries, checkpointing).
• Capacidad para diseñar evaluaciones offline y online de modelos.
• Dominio de RAG, embeddings y bases de datos vectoriales.

Responsabilidades

• Diseñar y construir arquitecturas de agentes IA a escala productiva.
• Gestionar runtime end-to-end, incluyendo state, retries y streaming.
• Definir metodología de evaluación para calidad, rendimiento y reproducibilidad.
• Trabajar con MCP y protocolos de contexto.
• Implementar observabilidad, tracing y herramientas de ejecución.

Conocimientos

Arquitecturas IA

Diseño de sistemas de agentes IA

Evaluación de modelos

Observabilidad

Herramientas

FastAPI

Docker

Kubernetes

OpenTelemetry

Grafana

Prometheus

Python

MLflow

Descripción del empleo

Descripción del trabajo

Una compañía con equipos de IA avanzada incorpora un/a AI Runtime & Evaluation Engineer para el diseño, implementación y evaluación de arquitecturas de agentes de IA a escala productiva. Rol clave en la creación de sistemas robustos de evaluación y benchmarking de LLMs, gestión del runtime de agentes y observabilidad avanzada.

Rol fundamental en el ciclo de vida de sistemas de agentes IA en producción real — no POCs, no research aislado.

Sobre el ro

lSerás responsable de construir, optimizar y validar rigurosamente sistemas de agentes de IA. Diseñarás las arquitecturas, gestionarás su runtime end-to-end, y — muy importante — establecerás la metodología de evaluación que asegura calidad, rendimiento y reproducibilidad. Impacto tangible en la fiabilidad de soluciones IA a escala

?? Lo que har

ásArquitecturas de agent

• es:Diseñar sistemas de agentes: planning, tool calling, function calling, memory, context engineering, semantic routi
• ng.Distinguir y diseñar workflows vs agentes según caso de u
• so.Trabajar con MCP (Model Context Protocol) y, idealmente, A
• 2A.Orquestar sistemas multi-agen

te.Runtime de agen

• tes:Gestionar execution loop, state management, orchestration, retries, checkpoint
• ing.Implementar streaming, human-in-the-loop, gestión de conte
• xto.Observabilidad avanzada, tracing, tool execution, concurre

ncy.Evaluación (crít

• ico):Diseñar evals offline y on
• line.Construir benchmarks robustos + golden datasets + synthetic data
• sets.Aplicar LLM-as-a-judge, pairwise compar
• ison.Regression testing + experiment tracking + reproducibilidad (MLf

low)

• .RAG:Chunking, embeddings, reranking, vector databases, retrieval quality, context wi

ndows.LLM Engin

• eering:Prompting, structured outputs, JSON schema, function c
• alling.Optimización de tokenización, coste, latencia, c
• aching.Reasoning models + context window mana

gement.Backend + Observabilidad +

• Testing:Python backend con FastAPI, Docker, Kub
• ernetes.OpenTelemetry + Grafana + Pro
• metheus.Unit testing, integration testing, eval testing, regression suites, CI/CD

para IA. Impres

• cindiblesExperiencia sólida diseñando arquitecturas de agentes IA en producción (planning, tool/function calling, memory, context engineering, semantic routi
• ng, MCP).Experiencia práctica con runtime de agentes end-to-end (execution loop, state, retries, checkpointing, streaming, HITL, conc
• urrency).Experiencia crítica en evaluación de modelos: offline + online evals, benchmark design, golden + synthetic datasets, LLM-as-a-judge, regression testing, experiment
• tracking.Dominio avanzado de Python para backend
• robusto.Conocimiento experto de RAG (chunking, embeddings, reranking, vector DBs, retrieval
• quality).LLM Engineering avanzado (prompting, structured outputs, function calling, tokenización, coste, latencia, caching, reasoning
• models).Experiencia con MLflow para experiment
• tracking.Inglés

avanzado Muy

• valorableFrameworks de agentes: LangGraph, OpenAI A
• gents SDK.A2A (Agent-to-Agent
• Protocol).Infraestructura: FastAPI, Docker, Kubernetes, Redis, Kafka, P
• ostgreSQL.Observabilidad: OpenTelemetry, Grafana, P
• rometheus.Testing: unit + integration + eval + regression suites + CI/C
• D para IA.Cloud AI: Azure OpenAI, AWS Bedrock + AgentCore, GCP

Vertex AI.

• CondicionesModalidad: freelance v
• ía Shakers.Duración: 12 meses con alta probabilidad de
• extensión.Ubicación: 100% remoto de
• sde España.