Senior AI Data Scientist — LLM Metrics & Evaluation

Knowit; Bydgoszcz; On-site; PLN 180,000 - 240,000; Full time

Job summary

Knowit w Polsce poszukuje Salesforce Marketing Cloud Engineera na poziomie Mid/Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych na globalnej platformie e-commerce.

Twoje zadania obejmą projektowanie metryk ewaluacyjnych, tworzenie danych ground truth oraz ocenę trafności wyników i jakości ewaluacji, a także rozwijanie metod ocen z użyciem LLM jako sędziego i uwzględnienie informacji zwrotnej od użytkowników.

Qualifications

• Doświadczenie w ewaluacji AI i modeli LLM.
• Praktyczna umiejętność projektowania eksperymentów i analiz danych.
• Znajomość metryk ewaluacyjnych i normalizacji wyników.

Responsibilities

• projektowaniem i walidowaniem metryk ewaluacyjnych;
• tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth;
• analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji;
• optymalizowaniem normalizacji metryk i sposobów obliczania punktacji;
• rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge);
• opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi;
• badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Skills

Data Science

Experiment design

A/B testing

LLM evaluation

Tools

Python

LLM tooling

Job description

Knowit w Polsce poszukuje Salesforce Marketing Cloud Engineera na poziomie Mid/Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych na globalnej platformie e-commerce.

Twoje zadania obejmą projektowanie metryk ewaluacyjnych, tworzenie danych ground truth oraz ocenę trafności wyników i jakości ewaluacji, a także rozwijanie metod ocen z użyciem LLM jako sędziego i uwzględnienie informacji zwrotnej od użytkowników.