Software Engineer - Evals for Agents

MercadoLibre; Buenos Aires; Hybrid; ARS 1,800,000 - 2,400,000; Full time

Job summary

Mercado Libre busca un Backend Engineer para diseñar y escalar sistemas seguros que resuelvan problemas de alto impacto en América Latina. Trabajarás con IA generativa y evaluaciones de agentes, construyendo herramientas para medir salud de agentes y experimentación offline.

Colaborarás con producto y tecnología para transformar necesidades en soluciones de alto impacto. El rol requiere experiencia en microservicios, Go y/o Python, APIs RESTful y buenas prácticas de desarrollo.

Qualifications

• Conocimiento de arquitectura de microservicios y sistemas distribuidos.
• Experiencia en Go y/o Python; diseño de APIs RESTful.
• Conocimiento de bases de datos relacionales y no relacionales.
• Familiaridad con LLMs y sus APIs; análisis de datos y estadística aplicada (SQL, BigQuery).

Responsibilities

• Evolucionar y mantener la plataforma de evaluación de agentes y desarrollar capabilities para entender la salud de los agentes en producción.
• Construir herramientas de experimentación offline: replay de conversaciones, usuarios simulados y comparación de versiones de modelos.
• Crear el ciclo de mejora continua de agentes para transformaciones en mejoras accionables.
• Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de IA.
• Colaborar con equipos de producto, negocio y tecnología para traducir necesidades en soluciones de impacto.
• Mantenerse actualizado sobre tendencias y buenas prácticas del ecosistema de IA generativa y evaluación de agentes.

Skills

Microservicios

Sistemas distribuidos

Procesamiento asíncrono

Go y/o Python

APIs RESTful

Clean architecture

Patrones de diseño

Bases de datos

LLMs APIs

SQL/BigQuery

Tools

BigQuery

SQL

Job description

Como Software Engineer Backend en Mercado Libre

diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.

• Evolucionar y mantener la plataforma de evaluación de agentes (online y offline evals) que usan los equipos de MELI que construyen agentes y desarrollar capabilities para entender la salud de los agentes en producción: métricas de calidad, detección de regresiones, observabilidad y alertas.
  Construir herramientas de experimentación offline: replay de conversaciones reales, usuarios simulados y comparación de versiones de modelos, prompts y configuraciones.
• Crear el ciclo de mejora continua de agentes para transformar los resultados de las evaluaciones en mejoras accionables para los equipos dueños de los agentes: selección de modelos por calidad y costo, ajustes de prompts, tools y flujos conversacionales.
• Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de desarrollo asistido por IA (Skills, MCPs).
• Colaborar con equipos de producto, negocio y tecnología para traducir necesidades concretas en soluciones de impacto.
• Mantenerse actualizado/a sobre tendencias, modelos y buenas prácticas del ecosistema de IA generativa y evaluación de agentes, en un contexto de evolución constante.

¿Qué buscamos en vos?

• Poseer conocimiento sobre arquitectura de microservicios y contar con experiencia con sistemas distribuidos y procesamiento asíncrono (colas de mensajes, retry patterns, idempotency).
• Poseer conocimientos sólidos en Go y/o Python, y capacidad de aprender otros, así como tener conocimiento de diseño de APIs, RESTful y buenas prácticas de desarrollo (SOLID, clean architecture, design patterns, etc).
• Poseer conocimiento de bases de datos relacionales y no relacionales.
• Estar familiarizado con LLMs y sus APIs (GPT, Gemini, Claude u otros)
• Es un plus tener experiencia con frameworks de evaluación, LLM-as-judge u observabilidad de sistemas con LLMs, haber trabajado con plataformas de IA y/o desarrollo de agentes y tener conocimientos de análisis de datos y estadística aplicada (SQL, BigQuery, diseño de experimentos).

¿Te animás a dejar huella en la tecnología de América Latina?
¡Postulate y sumate a nuestro propósito!

Modalidad de trabajo híbrido. Site Buenos Aires, Argentina