Betrouwbaar AI-nakijken van open vragen

TestWisely; Amsterdam; On-site; EUR 12,000 - 16,000; Part time

Benefits offered by this job

Mentoring door oprichters

Materiaal en bureau

Reiskostenvergoeding

Echte barista-koffie

Referentie en kans op baan

Job summary

TestWisely zoekt een student-/stagiair om bij te dragen aan evaluatie en verbetering van ons AI-model. Je onderzoekt waar het model afwijkt van docentbeoordelingen en leert patronen kennen. Je rapporteert eerlijk wat verbeterd kan, met aandacht voor leerlingen met dyslexie.

Je werkt in Amsterdam, met begeleiding van ervaren oprichters en regelmatige feedback. Een stage met meerdere uren per week en ruimte voor eigen onderzoek wordt geboden.

Qualifications

• Bachelor of Science or Master of Science in AI, Computer Science, Data Science or related field.
• Hands-on ervaring met machine learning en Python.
• Kritisch op eigen resultaten en eerlijk in rapportage.

Responsibilities

• Foutenanalyse: onderzoeken waar model afwijkt van docenten en patronen ontdekken.
• Onderzoeken eerlijkheid voor zwakke spellers en dyslexie.
• Het model verbeteren door docentcorrecties te leren en per punt beoordelen.

Skills

Machine learning

Python

Critical thinking

Education

Bachelor in AI/CS/DS

Master in AI/CS/DS

Job description

Een open vraag nakijken is meer dan trefwoorden zoeken. Een leerling kan het goed bedoelen en het net anders opschrijven, of het juiste woord gebruiken zonder het te begrijpen. Ons model leert daar elke dag beter mee om, en jij gaat uitzoeken waar het nog anders oordeelt dan een docent, waarom, en hoe dat beter kan. Dat is een onderzoeksvraag met een echte lat: een docent moet het oordeel kunnen vertrouwen.

Wat je gaat doen

• Een foutenanalyse: waar oordeelt het model anders dan docenten, en zit daar een patroon in
• Onderzoeken of het nakijken eerlijk is voor zwakke spellers en leerlingen met dyslexie
• Het model verbeteren, bijvoorbeeld door te leren van docentcorrecties, een groter model op onze eigen GPU's te proberen, of eerst per punt te beoordelen voordat er een totaalscore komt
• Een betrouwbaar signaal ontwikkelen voor wanneer het model twijfelt, zodat een docent precies weet welke antwoorden hij zelf moet bekijken
• Uitzoeken hoe de feedback aan leerlingen echt bruikbaar wordt: wat ging goed, wat mist er, wat kun je de volgende keer doen

Wat je meebrengt

• Je zit in je bachelor (hbo of wo) of master richting AI, computer science, data science of iets wat daarop lijkt
• Je hebt ervaring met machine learning in Python en kunt een experiment netjes opzetten
• Je bent kritisch op je eigen resultaten en schrijft eerlijk op wat je vindt
• Je vindt het belangrijk dat een oordeel over een leerling klopt, en snapt dat dat zorgvuldigheid vraagt

Wat wij bieden

• Een goede leerweg, met begeleiding van mensen die het vak kennen
• Meerdere uren per week met een van de oprichters, geen groepsintake
• Materiaal en een eigen bureau als je dat nodig hebt
• Reiskostenvergoeding als je geen studenten-ov hebt
• Echte barista-koffie, met de beste bonen van heel Amsterdam
• Een referentie na afloop, en kans op een baan bij ons