AI Evaluation & Agent Systems Engineer

Syntony; United States; Remote; USD 120,000 - 190,000; Full time

Job summary

Effectief Altruisme in de Verenigde Staten zoekt een specialist die evaluatiesoftware bouwt voor AI-modellen en agenten, tests ontwerpt en gedragsveranderingen meet. Je ontwikkelt evaluatie-harnesses voor modelgedrag, toolgebruik en meervoudige taken, en registreert inputs, configuraties, toolcalls en observaties in gestructureerde traces.

Daarnaast bouw je replay- en regressietesten om systeemgedrag voor en na updates te vergelijken, zodat onderzoekers veilige en betrouwbare evaluaties kunnen

Qualifications

• Ervaring met evaluatiesoftware en experimentontwerp.
• Ervaring met modelintegraties of agent-systemen.
• Bekendheid met het registreren van inputs, configuraties en observaties.

Responsibilities

• Ontwerpen en bouwen van evaluatieopstellingen voor AI-modellen en agenten.
• Ontwikkelen van evaluatie-harnesses voor gedrag, toolgebruik en meervoudige taken.
• Registreren van inputs, configuraties, toolcalls en observaties in gestructureerde traces.
• Ontwerpen replay- en regressietesten om systeemgedrag voor/na wijzigingen te vergelijken.

Skills

Evaluation software

Model integrations

Agent systems

Job description

• - Build evaluation software for AI models and agents, designing tests and measuring behavioral changes.
• - Develop evaluation harnesses for model behavior, tool use, and multi-step agent tasks.
• - Record inputs, configurations, tool calls, and observations in structured traces.
• - Build replay and regression tests comparing system behavior before and after changes.
• - Requires experience with evaluation software, model integrations, or agent systems.
• - Requires understanding of experiment design, n…

Wie wil weten of een AI-systeem na een update veiliger of juist riskanter is geworden, heeft een betrouwbare manier nodig om dat te meten. Hier bouw je testopstellingen waarmee andere onderzoekers en ontwikkelaars dat gedrag vastleggen en vergelijken. Je beantwoordt de veiligheidsvraag dus niet zelf, maar je bouwt het meetinstrument dat bepaalt hoe goed anderen dat kunnen.