Data Scientist GenAI • LLM, RAG & Chatbot Evaluation • Finance

Dceni; Utrecht; Hybrid; EUR 70.000 - 110.000; Vollzeit

Zusammenfassung

Dceni zoekt een ervaren Data Scientist GenAI in Utrecht die zich richt op het analyseren en verbeteren van AI-chatbots en LLM-gebaseerde toepassingen. Je onderzoekt waarom AI-assistenten niet altijd de verwachte resultaten leveren en vertaalt inzichten naar concrete verbeteringen in retrieval, contextmanagement en agentgedrag.

In een internationale, Engelstalige werkomgeving werk je samen met engineers en productmanagers aan evaluatiekaders en continue verbetering van AI-systemen, met nadruk op

Qualifikationen

• HBO-niveau met aantoonbare ervaring in generatieve AI en LLM's.
• Ervaring met ontwikkelen, toepassen of verbeteren van LLM-gebaseerde applicaties.
• Ervaring met retrieval-augmented systemen en RAG-concepten.
• Goede kennis van prompting, context windows, retrieval en grounding.
• Uitstekende Engelsvaardigheden en communicatieve vaardigheden.

Aufgaben

• Analyseren van chatbotoutputs en identificeren van de meeste impactvolle verbeteringen.
• Onderzoeken waarom AI-assistenten onverwachte of onvoldoende effectieve antwoorden genereren.
• Signaleren van ontbrekende context en bepalen welke aanvullende informatie AI-agenten nodig hebben.
• Evalueren van GenAI-oplossingen t.o.v. huidige technologische ontwikkelingen.
• Verbeteren van retrievalmechanismen en contextuele informatie.
• Optimaliseren van Retrieval-Augmented Generation (RAG), grounding en contextmanagement.
• Evalueren van prompts, context windows, reasoning loops en tool-callingfunctionaliteiten.
• Ontwerpen van evaluatiekaders voor prestaties en kwaliteit van chatbots en agents.
• Ontwikkelen van methoden voor grootschalige experimenten en continue verbetering.
• Samenwerken met productmanagers en engineers bij evaluatiecriteria.
• Ophalen van praktijkervaringen en gebruikersfeedback bij stakeholders.

Kenntnisse

Generatieve AI

LLM kennis

Prompting

RAG

Data analyse

Stakeholder communicatie

Samenwerking

Ausbildung

HBO-niveau

Tools

API-integraties

Data pipelines

LLM-platforms

Jobbeschreibung

Voor een grote financiële organisatie in Utrecht zoeken wij een ervaren Data Scientist GenAI die zich richt op het analyseren, evalueren en verbeteren van AI-chatbots en LLM-gebaseerde toepassingen. Je onderzoekt waarom AI-assistenten niet altijd de verwachte resultaten leveren en vertaalt inzichten naar concrete verbeteringen in retrieval, contextmanagement en agentgedrag.

Rol & context

Als Data Scientist GenAI werk je op het snijvlak van data science, AI-engineering en productontwikkeling. Je richt je niet op het bouwen van foundation models, maar op het verbeteren van de kwaliteit, betrouwbaarheid en effectiviteit van bestaande chatbot- en AI-agentoplossingen.

Je analyseert chatbotgedrag, identificeert ontbrekende context en onderzoekt hoe retrieval, grounding, reasoning loops en tool calling kunnen worden verbeterd.

Je werkt nauw samen met engineers, productmanagers en stakeholders om functionele behoeften te vertalen naar technische verbeteringen. Daarbij ontwikkel je evaluatiekaders waarmee de prestaties van AI-systemen structureel kunnen worden gemeten en verbeterd.

Het betreft een medior-seniorfunctie binnen een internationale, Engelstalige werkomgeving.

Werkzaamheden

• Analyseren van chatbotoutputs en identificeren van verbeteringen met de grootste impact.
• Onderzoeken waarom AI-assistenten onverwachte of onvoldoende effectieve antwoorden genereren.
• Signaleren van ontbrekende context en bepalen welke aanvullende informatie AI-agents nodig hebben.
• Evalueren van bestaande GenAI-oplossingen ten opzichte van actuele technologische ontwikkelingen.
• Verbeteren van retrievalmechanismen en de structurering van contextuele informatie.
• Optimaliseren van Retrieval-Augmented Generation (RAG), grounding en contextmanagement.
• Evalueren van prompts, context windows, reasoning loops en tool-callingfunctionaliteiten.
• Ontwerpen van evaluatiekaders voor de prestaties en kwaliteit van chatbots en AI-agents.
• Ontwikkelen van methoden voor grootschalige experimenten en continue verbetering.
• Samenwerken met productmanagers en engineers bij het definiëren van evaluatiecriteria.
• Ophalen van praktijkervaringen en gebruikersfeedback bij stakeholders en betrokken teams.
• Analyseren van datastromen, API-integraties, batchsynchronisatie en context ingestion.
• Signaleren en oplossen van knelpunten in de verwerking en beschikbaarheid van informatie.
• Vertalen van functionele requirements naar concrete technische verbetervoorstellen.
• Communiceren van analyses, oorzaken en verbetermaatregelen aan technische en niet-technische stakeholders.

Eisen

• HBO-werk- en denkniveau.
• Aantoonbare kennis van generatieve AI en Large Language Models (LLM's).
• Ervaring met het ontwikkelen, toepassen of verbeteren van LLM-gebaseerde applicaties.
• Ervaring met retrieval-augmented systemen en RAG-concepten.
• Goede kennis van prompting, context windows, retrieval en grounding.
• Ervaring met het analyseren en beoordelen van de kwaliteit van chatbotoutputs.
• Vermogen om te verklaren waarom AI-resultaten effectief of onvoldoende effectief zijn.
• Ervaring met het ontwikkelen van evaluatiekaders die verder gaan dan traditionele machinelearningmetrics.
• Kennis van API-integraties, batchsynchronisatie en gestructureerde en ongestructureerde data.
• Vermogen om problemen in datastromen en context ingestion te analyseren.
• Sterk analytisch vermogen en het kunnen vertalen van bevindingen naar technische verbeteringen.
• Begrip van functionele requirements, gebruikersgedrag en productdoelstellingen.
• Ervaring met samenwerking tussen engineering, productmanagement en stakeholders.
• Goede communicatieve vaardigheden en het vermogen om complexe technische onderwerpen helder uit te leggen.
• Uitstekende beheersing van het Engels.
• Beschikbaarheid voor 36 uur per week gedurende de volledige opdrachtperiode.
• Bereidheid om op donderdag op locatie in Utrecht te werken.
• Inzet via payrolling; directe ZZP-inzet en midlanceconstructies zijn niet toegestaan.

Pré’s

• Ervaring met human-in-the-loop evaluation.
• Ervaring met evaluatie en optimalisatie van AI-assistenten en agentgebaseerde toepassingen.
• Kennis van reasoning loops en tool-callingmechanismen.
• Ervaring met schaalbare evaluatie- en experimentatieframeworks.
• Een sterke productgerichte en analytische werkwijze.
• Ervaring binnen multidisciplinaire AI-, data- en engineeringteams.
• Het vermogen om complexe problemen te vertalen naar praktische oplossingen.

Praktische informatie

• Start: zo spoedig mogelijk, na succesvolle afronding van de screening.
• Looptijd: tot en met 31 mei 2027, zonder verlengingsoptie.
• Uren: 36 uur per week.
• Locatie: Utrecht, hybride; donderdag op kantoor aan de Winthontlaan tot nader bericht.
• Soort opdracht: payrolling.
• Reageren t/m: 27 oktober 2026, 17:00 uur. De opdracht kan eerder sluiten.
• Kenmerk DC&I: 202610179.

Let op:

voor deze opdracht moeten het CV en de persoonlijke motivatie in het Engels worden aangeleverd. Vermeld daarnaast eventuele geplande vakanties of bijzonder verlof gedurende de opdrachtperiode.