Contrato | Remoto, en todo el mundo | $100-$200/hora, según la experiencia y la ubicación | 10-20 horas/semana
Ten en cuenta que la elegibilidad puede variar según tu ubicación, ya que es posible que el cliente no admita algunas regiones.
Mira este vídeo de Loom para obtener más detalles: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Buscamos a un/a ingeniero/a de software con mucha experiencia (SR+) que nos ayude a evaluar la calidad de las interacciones con agentes de programación modernos, como OpenAI Codex y Claude Code.
No se trata de un puesto de ingeniería tradicional. No escribirás código de producción. Evaluarás algo más difícil: si el modelo piensa como un gran ingeniero.
En qué consiste realmente este puesto
Evaluarás cómo se comportan los agentes de programación con IA en situaciones reales, centrándote en:
- Si la respuesta tiene sentido
- Si el preámbulo y el razonamiento son útiles
- Si el resultado refleja un criterio de ingeniería sólido
- Si la interacción resulta adecuada para un desarrollador con experiencia
Este puesto trata del criterio de ingeniería. La corrección sintáctica es la parte fácil.
Qué harás
- Evaluar de principio a fin las interacciones de programación generadas por IA
- Valorar si los resultados son útiles, correctos en términos generales y coherentes con la forma de pensar de un buen ingeniero
- Evaluar la calidad de las explicaciones y el razonamiento, no solo del código
- Distinguir entre distintos niveles de calidad de respuesta (qué hace que algo sea un 2 en lugar de un 4)
- Dar por escrito comentarios claros y fundamentados sobre lo que ha funcionado, lo que no y lo que ha parecido extraño o engañoso
- Ayudar a definir qué significa hacerlo muy bien al trabajar con herramientas como Cursor, Codex y Claude Code
Qué queremos decir con «criterio»
Buscamos ingenieros que puedan responder a preguntas como estas:
- ¿Esto suena a algo que realmente diría un buen ingeniero?
- ¿Es útil esta explicación o solo técnicamente correcta?
- ¿El modelo guía bien al usuario o se limita a volcar resultados?
- ¿Esta interacción generaría confianza o la debilitaría?
Debes sentirte cómodo/a emitiendo valoraciones subjetivas, pero rigurosas, y explicándolas con claridad.
Quién eres
- Ingeniero/a sénior, staff o principal (o con experiencia equivalente)
- Sólida experiencia con TypeScript/JavaScript o Python
- Experiencia práctica con al menos uno de estos productos: OpenAI Codex, Claude Code o Cursor
- Amplio conocimiento de los flujos de trabajo modernos de desarrollo asistido por IA
- Capacidad para evaluar código sin ejecutarlo ni revisar todas sus líneas
- Buen nivel de inglés escrito y hablado (B2 o superior). Es un requisito imprescindible, ya que redactarás comentarios detallados y grabarás breves explicaciones en vídeo
- Comodidad para dar comentarios directos y fundamentados
- Un nivel de exigencia alto respecto a lo que significa hacer un buen trabajo de ingeniería
Se valorará
- Experiencia previa con el diseño de prompts o con flujos de trabajo de evaluación
- Experiencia como mentor/a de ingenieros sénior o definiendo estándares de ingeniería
Detalles de la colaboración
- Tarifa: $100-$200/hora, según la experiencia y la ubicación
- Horas: 10-20 horas/semana, con flexibilidad
- Duración: continua. Los proyectos duran desde aproximadamente dos semanas hasta unos meses, y ofrecemos nuevos proyectos a quienes los evalúan bien
- Inicio: en cuanto superes la prueba para hacer en casa y haya una plaza disponible en un proyecto
- Proceso: un ejercicio de evaluación para hacer en casa, con una explicación grabada en Loom. Sin entrevista