Vertrag | Remote, weltweit | 100–200 $/Stunde, abhängig von Erfahrung und Standort | 10–20 Std./Woche
Bitte beachte, dass deine Teilnahmeberechtigung von deinem Standort abhängen kann, da manche Regionen vom Kunden möglicherweise nicht unterstützt werden.
In diesem Loom-Video erfährst du mehr: https://www.loom.com/share/b0d1b0bf24c44ae8b95dca84b9db60e5
Wir suchen eine:n sehr erfahrene:n Software Engineer (SR+), die oder der die Qualität von Interaktionen mit modernen Coding-Agenten wie OpenAI Codex und Claude Code bewertet.
Dies ist keine klassische Engineering-Rolle. Du wirst keinen produktiven Code schreiben. Stattdessen bewertest du etwas Schwierigeres: ob das Modell wie ein:e großartige:r Engineer denkt.
Worum es bei dieser Rolle wirklich geht
Du beurteilst, wie sich KI-Coding-Agenten in realen Situationen verhalten. Dabei konzentrierst du dich auf folgende Fragen:
- Ergibt die Antwort Sinn?
- Sind die Einleitung und die Begründung hilfreich?
- Spiegelt die Ausgabe fundiertes Engineering-Urteilsvermögen wider?
- Fühlt sich die Interaktion für eine:n erfahrene:n Entwickler:in stimmig an?
In dieser Rolle geht es um Engineering-Gespür. Syntaxkorrektheit ist der einfache Teil.
Deine Aufgaben
- KI-generierte Coding-Interaktionen von Anfang bis Ende bewerten
- Beurteilen, ob die Ausgaben nützlich und auf hoher Ebene korrekt sind und der Denkweise starker Engineers entsprechen
- Die Qualität von Erklärungen und Begründungen bewerten, nicht nur den Code
- Qualitätsstufen von Antworten unterscheiden (was eine 2 von einer 4 unterscheidet)
- Schriftlich klares, begründetes Feedback dazu geben, was funktioniert hat, was nicht funktioniert hat und was unpassend oder irreführend wirkte
- Mithelfen, zu definieren, was bei der Arbeit mit Tools wie Cursor, Codex und Claude Code als herausragend gilt
Was wir mit „Gespür“ meinen
Wir suchen Engineers, die Fragen wie diese beantworten können:
- Klingt das nach etwas, das ein:e starke:r Engineer tatsächlich sagen würde?
- Ist diese Erklärung hilfreich oder nur technisch korrekt?
- Leitet das Modell die Nutzer:innen gut an oder gibt es einfach nur eine Ausgabe aus?
- Würde diese Interaktion Vertrauen aufbauen oder untergraben?
Du solltest dich damit wohlfühlen, subjektive, aber sorgfältig begründete Urteile zu fällen und sie klar zu erläutern.
Wer du bist
- Engineer auf Senior-, Staff- oder Principal-Level (oder mit gleichwertiger Erfahrung)
- Fundierte Kenntnisse in TypeScript/JavaScript oder Python
- Praktische Erfahrung mit mindestens einem der folgenden Tools: OpenAI Codex, Claude Code oder Cursor
- Umfassende Vertrautheit mit modernen KI-gestützten Entwicklungsabläufen
- In der Lage, Code zu bewerten, ohne ihn auszuführen oder jede einzelne Zeile zu prüfen
- Gute schriftliche und mündliche Englischkenntnisse (B2 oder höher). Du verfasst detailliertes Feedback und nimmst kurze Videoerklärungen auf. Das ist eine zwingende Voraussetzung.
- Du gibst gerne direktes, klar begründetes Feedback
- Hohe Ansprüche daran, was gute Engineering-Arbeit ausmacht
Von Vorteil
- Erste Erfahrungen mit Prompt-Design oder Evaluierungsabläufen
- Erfahrung darin, Senior Engineers zu betreuen oder Engineering-Standards festzulegen
Details zur Zusammenarbeit
- Honorar: 100–200 $/Stunde, abhängig von Erfahrung und Standort
- Stunden: 10–20 Stunden/Woche, flexibel
- Dauer: fortlaufend. Projekte dauern jeweils etwa zwei Wochen bis einige Monate. Evaluator:innen, die gute Arbeit leisten, bieten wir neue Projekte an.
- Start: sobald du die Take-Home-Aufgabe bestanden hast und ein Projekt einen freien Platz hat
- Ablauf: eine Take-Home-Evaluierungsaufgabe mit einer aufgezeichneten Loom-Erklärung. Kein Vorstellungsgespräch