Senior Software Engineer - Evals for Agents

Mercado Libre; United States; Hybrid; USD 5,900 - 9,800; Full time

Benefits offered by this job

Modalidad de trabajo híbrido

Job summary

Mercado Libre en Buenos Aires busca un Senior Software Engineer Backend para diseñar y escalar sistemas innovadores y seguros que resuelvan problemas reales de alto impacto, con foco en IA generativa y evaluación de agentes. Trabajarás en un entorno dinámico con Go y/o Python, API REST, microservicios y buenas prácticas (SOLID, clean architecture).

Colaborarás con equipos de producto, negocio y tecnología para traducir necesidades en soluciones de impacto, manteniendo observabilidad y calidad en

Qualifications

Responsibilities

• Diseñar y escalar sistemas de evaluación de agentes en producción.
• Construir herramientas de experimentación offline.
• Crear ciclos de mejora de agentes para optimizar modelos y prompts.
• Hacer que la plataforma sea fácil de adoptar: APIs, CLI e integraciones IA.
• Colaborar con producto, negocio y tecnología para soluciones de impacto.
• Mantenerse actualizado sobre IA generativa y buenas prácticas en evaluación de agentes.

Skills

Microservices

Distributed systems

Asynchronous processing

Go

Python

API design

RESTful APIs

SOLID

Clean architecture

Design patterns

SQL

NoSQL databases

LLMs

LLM APIs

Job description

Como Senior Software Engineer Backend en Mercado Libre, diseñarás y escalarás sistemas innovadores y seguros que resuelven problemas reales y de alto impacto. Trabajarás en un entorno dinámico con tecnología de vanguardia, aplicando buenas prácticas de ingeniería, modelos de IA propios y aprendizaje continuo, con el propósito de democratizar el comercio electrónico y los servicios financieros en América Latina.

Imagináte emprendiendo proyectos desafiantes, dinámicos e innovadores y siendo responsable de:

• Evolucionar y mantener la plataforma de evaluación de agentes (online y offline evals) que usan los equipos de MELI que construyen agentes y desarrollar capabilities para entender la salud de los agentes en producción: métricas de calidad, detección de regresiones, observabilidad y alertas.
• Construir herramientas de experimentación offline: replay de conversaciones reales, usuarios simulados y comparación de versiones de modelos, prompts y configuraciones.
• Crear el ciclo de mejora continua de agentes para transformar los resultados de las evaluaciones en mejoras accionables para los equipos dueños de los agentes: selección de modelos por calidad y costo, ajustes de prompts, tools y flujos conversacionales.
• Hacer que la plataforma sea simple de adoptar: APIs, CLI e integraciones con herramientas de desarrollo asistido por IA (Skills, MCPs).
• Collaborar con equipos de producto, negocio y tecnología para traducir necesidades concretas en soluciones de impacto.
• Mantenerse actualizado/a sobre tendencias, modelos y buenas prácticas del ecosistema de IA generativa y evaluación de agentes, en un contexto de evolución constante.

¿Qué buscamos en vos?

• Poseer conocimiento sobre arquitectura de microservicios y contar con experiencia con sistemas distribuidos y procesamiento asíncrono (colas de mensajes, retry patterns, idempotency).
• Poseer conocimientos sólidos en Go y/o Python, y capacidad de aprender otros, así como tener conocimiento de diseño de APIs, RESTful y buenas prácticas de desarrollo (SOLID, clean architecture, design patterns, etc).
• Poseer conocimiento de bases de datos relacionales y no relacionales.
• Estar familiarizado con LLMs y sus APIs (GPT, Gemini, Claude u otros)
• Es un plus tener experiencia con frameworks de evaluación, LLM-as-judge u observabilidad de sistemas con LLMs, haber trabajado con plataformas de IA y/o desarrollo de agentes y tener conocimientos de análisis de datos y estadística aplicada (SQL, BigQuery, diseño de experimentos).

¿Te animás a dejar huella en la tecnología de América Latina?

Modalidad de trabajo híbrido. Site Buenos Aires, Argentina