Stage | Datagedreven corpussamenstelling voor token-efficiente LLM-pretraining

InternHunt; Den Haag; Hybrid; EUR 6,700 - 7,300; Full time

Benefits offered by this job

Stagevergoeding €615,- per maand

Reiskostenvergoeding

Gratis Jong TNO lidmaatschap

Laptop beschikbaar

Job summary

TNO zoekt een masterstudent Artificial Intelligence, Computer Science of Data Science voor een afstudeerstage rond taalmodellen en corpussamenstelling. Je werkt samen met het GPT-NL-team en SURF aan een actueel onderzoek in low-resource talen, met focus op reproduceerbaarheid en toetsbaarheid van resultaten.

Je bepaalt taken en domeinen, maakt gecontroleerde corpussen en traint kleine taalmodellen onder consistente condities.

Qualifications

• Masterstudent Artificial Intelligence, Computer Science, Data Science of een verwante richting met ervaring in Python en machine learning.
• Ervaring met het trainen van taalmodellen is handig.

Responsibilities

• Bepalen welke taken, domeinen en talen voor optimalisatie worden gekozen.
• Vervolgens samenstellen en trainen van gecontroleerde corpussen onder vergelijkbare omstandigheden.
• Ontwikkelen van een methode om corpussamenstelling te voorspellen met bijvoorbeeld genetische algoritmes of andere black-box optimalisaties.
• Verifiëren van voorspellingen met nieuwe experimenten en vertalen van conclusies naar de masterscriptie en het framework.

Skills

Python

Machine learning

Experiment design

Education

Master student in AI/CS/Data Science

Job description

Stage | Datagedreven corpussamenstelling voor token-efficiente LLM-pretraining

Over deze vacatureDe prestaties van een taalmodel worden sterk beïnvloed door de samenstelling van de trainingsdata. Toch worden corpussen in de praktijk vaak op basis van intuïtie samengesteld, bijvoorbeeld door vaste aandelen code, wiskundige tekst of domeinspecifieke bronnen te kiezen.

Propella is een tool die documenten voorziet van interpreteerbare annotaties over onder meer onderwerp, domein, kwaliteit en taal. Daarmee kunnen we systematisch teksten classificeren en onderzoeken welke verhoudingen tussen soorten documenten bijdragen aan goede prestaties op specifieke taken, in plaats van deze verhoudingen alleen handmatig te bepalen.

Tijdens deze afstudeerstage werk je met het GPT-NL-team van TNO en SURF aan een actueel onderzoeksvraagstuk rond taalmodellen, dat met name relevant is in low-resource talen. De wetenschappelijke inzichten staan centraal; een herbruikbare methode om corpussamenstellingen te maken ondersteunt het onderzoek.

Wat ga je doen?Je bepaalt samen met de begeleiders welke taken, domeinen, talen en rekenbudgetten je voor wilt optimaliseren. Vervolgens stel je verschillende gecontroleerde corpussen samen op basis van Propella-annotaties en train en evalueer je relatief kleine taalmodellen onder vergelijkbare omstandigheden. Met de resultaten ontwikkel je een methode (bijvoorbeeld een genetisch algoritme, of een ander black-box optimalisatiealgoritme) die prestaties uit de corpussamenstelling voorspelt en veelbelovende corpussamenstellingen op voorhand selecteert. Je verifieert deze voorspellingen met nieuwe experimenten en onderzoekt of de conclusies ook gelden voor grotere modellen of andere taken. Je werkt reproduceerbaar en vertaalt je bevindingen naar een masterscriptie en een ondersteunend framework voor het samenstellen van pre-training corpussen. De precieze onderzoeksopzet wordt samen met jou verder aangescherpt.

Wat wij van jou verwachtenVoor deze opdracht zoeken we een masterstudent Artificial Intelligence, Computer Science, Data Science of een verwante richting met ervaring in Python en machine learning. Ervaring met het trainen van taalmodellen is handig, maar niet vereist als je gemotiveerd bent om dit te leren.

Je werkt zorgvuldig en zelfstandig, denkt kritisch na over experimenteel ontwerp en vindt het leuk om resultaten en tussenstappen met anderen te bespreken. Nieuwsgierigheid, initiatief en aandacht voor reproduceerbaarheid zijn belangrijker dan dat je alle technieken al beheerst.

De beoogde start ligt tussen november 2026 voor een traject van acht maanden en januari 2027 voor een traject van zes maanden. Je krijgt regelmatige begeleiding van TNO en de academische begeleider, met toegang tot expertise van TNO en SURF op het gebied van corpusannotatie, dataverwerking en taalmodeltraining.

Wat wij jou biedenEen stage bij TNO betekent werken in een omgeving waar inhoud en impact centraal staan. Je komt terecht in een kennisorganisatie waar onderzoek en praktijk samenkomen en waar experts samenwerken aan oplossingen voor actuele maatschappelijke en technologische vraagstukken.

Je stage is een periode om te ontdekken wat bij jou past, waar je goed in bent en wat je nog wilt leren. Je maakt deel uit van een professionele werkomgeving, leert hoe het er in de praktijk aan toegaat en krijgt de ruimte om ervaring op te doen die verder reikt dan alleen deze stage. Voor veel studenten is een stage dan ook een eerste stap om te ontdekken of TNO past als mogelijke volgende stap na de studie.

Verder bieden we je

• Een professionele en innovatieve stageomgeving waarin je actief bijdraagt aan maatschappelijke en technologische vraagstukken, samen met toonaangevende experts in jouw vakgebied.
• Betrokken en persoonlijke begeleiding, met aandacht voor jouw leerdoelen, ontwikkeling en studieopdracht.
• Ruimte om jezelf te ontplooien je doet relevante werkervaring op, ontwikkelt zowel je vakinhoudelijke als professionele vaardigheden en bouwt een waardevol netwerk op.
• Gebruik van een laptop en de faciliteiten die je nodig hebt om je werk goed te kunnen uitvoeren.
• Een passende stagevergoeding van € 615,- per maand bij een fulltime stage, voor wo-, hbo- en mbo‑studenten.
• Tot acht uur verlof per stagemaand bij een fulltime stage, zodat je je stage goed kunt combineren met je studie en privéleven.
• Een tegemoetkoming in je reiskosten als je geen recht hebt op een studentenreisproduct.
• Een gratis lidmaatschap van Jong TNO het netwerk voor jonge collega’s, waar je andere TNO’ers ontmoet en kunt deelnemen aan sportactiviteiten, inhoudelijke en persoonlijke ontwikkelactiviteiten en sociale evenementen, zoals de jaarlijkse skireis.

TNO als werkgeverOnze mensen vormen het hart van TNO. Hun nieuwsgierigheid, expertise en proactiviteit maken het mogelijk om impactvolle onderzoeken en innovaties te creëren voor duurzaam welzijn en welvaart van de samenleving. Daarom investeren wij in een inspirerende en inclusieve werkomgeving waarin collega’s kunnen excelleren, autonomie hebben en kunnen groeien.

Jouw talent en ambitie krijgen bij TNO alle ruimte. Je werkt samen met experts (zowel binnen als buiten TNO), je hebt toegang tot geavanceerde technologie en de vrijheid om te onderzoeken, te experimenteren en te vernieuwen. Onze kracht ligt in onafhankelijkheid, betrouwbaarheid en samenwerking. Door samen te werken met bedrijven en overheden en door verschillende perspectieven te verbinden, versterken we onze innovatiekracht. En we creëren verantwoord en betekenisvol resultaat. We vinden elkaar in verwondering en vindingrijkheid, en we zijn gedreven om grenzen te verleggen.

Bij TNO geloven we dat dit onze tijd is om de samenleving, de overheid en het bedrijfsleven sneller vooruit te helpen. Samen met gedreven collega’s zet je kennis om in concrete innovaties of ondernemingen die écht verschil maken. Door de kracht van wetenschap en ondernemerschap te bundelen. Druk jouw stempel op ónze tijd.

TNO draagt zorg voor een passende stageovereenkomst. Mocht je vragen hebben over de inhoud van de stage of de procedure, dan kun je terecht bij de onderstaande contactpersoon.

Wanneer je bij ons start met een stage, vragen wij je ook om een Verklaring Omtrent het Gedrag (VOG) aan te leveren.

Belangrijk om te weten voordat je solliciteert

• Voor de start van de stage moet een stageovereenkomst worden getekend. Voor studenten van een Nederlandse hogeschool of universiteit maakt TNO gebruik van het UNL-template, aangevuld met enkele TNO‑specifieke afspraken. Voor studenten van buitenlandse onderwijsinstellingen en MBO‑opleidingen geldt de TNO‑stageovereenkomst. TNO tekint geen andere stageovereenkomsten.
• Voor de start van de stage zal de onderwijsinstelling schriftelijk moeten bevestigen dat
• jij gedurende de stage bent ingeschreven bij de onderwijsinstelling, en;
• de stage plaatsvindt in het kader van de opleiding.

Deze bevestiging vindt plaats via ondertekening van het UNL‑template of formulieren die door TNO worden verstrekt.

• Stagiairs bij TNO moeten bij de start van de stage beschikken over een Nederlands woonadres. Het uitvoeren van stage-activiteiten vanuit het buitenland is niet mogelijk.
• Ben je een internationale student? Houd er dan rekening mee dat je vóór de start van de stage een BSN (Burgerservicenummer) nodig hebt. Het aanvragen hiervan kan enkele weken duren, dus zorg dat je hier op tijd mee begint.