LLM Platform Engineer: Gateways & Governance

Cashea; Mexico; Hybrid; VES 28,388,928 - 49,680,624; Full time

Job summary

Cashea busca un LLM Ops Engineer para construir y operar la capa de IA de la plataforma: una gateway de LLMs y MCP entre nuestras apps y proveedores (OpenAI, Anthropic, Google). El rol abarca enrutamiento, costos, seguridad y trazabilidad para que otros equipos consuman IA de forma segura y rentable.

Trabajarás en la intersección de ingeniería de plataforma, seguridad y FinOps aplicado a IA, promoviendo observabilidad, cumplimiento y confiabilidad en toda la arquitectura.

Qualifications

• Experiencia sólida en Python (o lenguaje similar) construyendo servicios/APIs en producción.
• Experiencia diseñando y operando API gateways, proxies o capas de middleware a escala.
• Experiencia con Docker y Kubernetes.
• Experiencia con al menos una nube (AWS, GCP o Azure).
• Experiencia integrando API de proveedores de LLMs (OpenAI, Anthropic u otros).
• Sólidos fundamentos de seguridad: gestión de secretos, RBAC y manejo de datos sensibles (PII).
• Mentalidad de plataforma: construir abstracciones consumibles por otros equipos.
• Comprensión de los retos de LLMs: latencia, costos y observabilidad.

Responsibilities

• Diseñar, construir y operar una gateway de LLMs con interfaz unificada para múltiples proveedores.
• Implementar enrutamiento, fallbacks, reintentos, balanceo por caso de uso.
• Gestionar credenciales de proveedores de forma segura (rotación, secrets management).
• Implementar caching (incluido semantic caching) para reducir costos y latencia.
• Construir y operar gateway MCP para exponer, descubrir y gobernar el acceso a servidores y herramientas MCP.
• Definir controles de acceso por herramienta/servidor (qué app puede invocar qué).
• Auditar y registrar el uso de herramientas MCP, con trazabilidad de extremo a extremo.
• Implementar guardrails y defensa contra prompt injection y fuga de datos.
• Redacción/enmascaramiento de datos sensibles (PII) en prompts, respuestas y logs.
• Definir políticas de acceso (RBAC), cuotas y límites de uso.
• Mantener registros de auditoría y apoyar requisitos de cumplimiento y privacidad.
• Implementar atribución de costos y dashboards de observabilidad para IA.
• Establecer SLAs/SLOs y planes de respuesta ante incidentes.
• Apoyar a equipos de producto e ingeniería en la integración con la gateway.

Skills

Python

API gateways

Containers

Kubernetes

Cloud (AWS/GCP/Azure)

LLM providers API

Security (RBAC, OAuth, secrets)

Platform thinking

Observability basics

Tools

Docker

Terraform

CI/CD

Langfuse

Helicone

LangSmith

Arize Phoenix

LiteLLM / Portkey / Kong AI Gateway

Cloudflare AI Gateway / OpenRouter

Job description

Cashea busca un LLM Ops Engineer para construir y operar la capa de IA de la plataforma: una gateway de LLMs y MCP entre nuestras apps y proveedores (OpenAI, Anthropic, Google). El rol abarca enrutamiento, costos, seguridad y trazabilidad para que otros equipos consuman IA de forma segura y rentable.

Trabajarás en la intersección de ingeniería de plataforma, seguridad y FinOps aplicado a IA, promoviendo observabilidad, cumplimiento y confiabilidad en toda la arquitectura.