AI Evaluation & Agent Behavior Engineer

Effectief Altruisme; United States; Remote; USD 120,000 - 190,000; Full time

Job summary

Effectief Altruisme in de Verenigde Staten zoekt een specialist die evaluatiesoftware bouwt voor AI-modellen en agenten, tests ontwerpt en gedragsveranderingen meet. Je ontwikkelt evaluatie-harnesses voor modelgedrag, toolgebruik en meervoudige taken, en registreert inputs, configuraties, toolcalls en observaties in gestructureerde traces.

Daarnaast bouw je replay- en regressietesten om systeemgedrag voor en na updates te vergelijken, zodat onderzoekers veilige en betrouwbare evaluaties kunnen

Qualifications

• Ervaring met evaluatiesoftware en experimentontwerp.
• Ervaring met modelintegraties of agent-systemen.
• Bekendheid met het registreren van inputs, configuraties en observaties.

Responsibilities

• Ontwerpen en bouwen van evaluatieopstellingen voor AI-modellen en agenten.
• Ontwikkelen van evaluatie-harnesses voor gedrag, toolgebruik en meervoudige taken.
• Registreren van inputs, configuraties, toolcalls en observaties in gestructureerde traces.
• Ontwerpen replay- en regressietesten om systeemgedrag voor/na wijzigingen te vergelijken.

Skills

Evaluation software

Model integrations

Agent systems

Job description

Effectief Altruisme in de Verenigde Staten zoekt een specialist die evaluatiesoftware bouwt voor AI-modellen en agenten, tests ontwerpt en gedragsveranderingen meet. Je ontwikkelt evaluatie-harnesses voor modelgedrag, toolgebruik en meervoudige taken, en registreert inputs, configuraties, toolcalls en observaties in gestructureerde traces.

Daarnaast bouw je replay- en regressietesten om systeemgedrag voor en na updates te vergelijken, zodat onderzoekers veilige en betrouwbare evaluaties kunnen