Senior GenAI & LLM Evaluation Specialist (RAG/Chatbots)

Dceni; Utrecht; Hybrid; EUR 70,000 - 110,000; Full time

Job summary

Dceni zoekt een ervaren Data Scientist GenAI in Utrecht die zich richt op het analyseren en verbeteren van AI-chatbots en LLM-gebaseerde toepassingen. Je onderzoekt waarom AI-assistenten niet altijd de verwachte resultaten leveren en vertaalt inzichten naar concrete verbeteringen in retrieval, contextmanagement en agentgedrag.

In een internationale, Engelstalige werkomgeving werk je samen met engineers en productmanagers aan evaluatiekaders en continue verbetering van AI-systemen, met nadruk op

Qualifications

• HBO-niveau met aantoonbare ervaring in generatieve AI en LLM's.
• Ervaring met ontwikkelen, toepassen of verbeteren van LLM-gebaseerde applicaties.
• Ervaring met retrieval-augmented systemen en RAG-concepten.
• Goede kennis van prompting, context windows, retrieval en grounding.
• Uitstekende Engelsvaardigheden en communicatieve vaardigheden.

Responsibilities

• Analyseren van chatbotoutputs en identificeren van de meeste impactvolle verbeteringen.
• Onderzoeken waarom AI-assistenten onverwachte of onvoldoende effectieve antwoorden genereren.
• Signaleren van ontbrekende context en bepalen welke aanvullende informatie AI-agenten nodig hebben.
• Evalueren van GenAI-oplossingen t.o.v. huidige technologische ontwikkelingen.
• Verbeteren van retrievalmechanismen en contextuele informatie.
• Optimaliseren van Retrieval-Augmented Generation (RAG), grounding en contextmanagement.
• Evalueren van prompts, context windows, reasoning loops en tool-callingfunctionaliteiten.
• Ontwerpen van evaluatiekaders voor prestaties en kwaliteit van chatbots en agents.
• Ontwikkelen van methoden voor grootschalige experimenten en continue verbetering.
• Samenwerken met productmanagers en engineers bij evaluatiecriteria.
• Ophalen van praktijkervaringen en gebruikersfeedback bij stakeholders.

Skills

Generatieve AI

LLM kennis

Prompting

RAG

Data analyse

Stakeholder communicatie

Samenwerking

Education

HBO-niveau

Tools

API-integraties

Data pipelines

LLM-platforms

Job description

Dceni zoekt een ervaren Data Scientist GenAI in Utrecht die zich richt op het analyseren en verbeteren van AI-chatbots en LLM-gebaseerde toepassingen. Je onderzoekt waarom AI-assistenten niet altijd de verwachte resultaten leveren en vertaalt inzichten naar concrete verbeteringen in retrieval, contextmanagement en agentgedrag.

In een internationale, Engelstalige werkomgeving werk je samen met engineers en productmanagers aan evaluatiekaders en continue verbetering van AI-systemen, met nadruk op