Senior AI Evaluation Scientist (LLM Metrics)

Knowit Poland; Łódź; On-site; PLN 180,000 - 240,000; Full time

Job summary

Knowit Poland poszukuje Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych w globalnej platformie e-commerce dla wiodącego producenta zabawek. Zakres obejmuje projektowanie metryk, tworzenie zbiorów danych ground truth oraz ocenę wyników i jakości ewaluacji, z wykorzystaniem LLM oraz interakcji z ludzkimi opiniami.

Praca w Knowit Connectivity w formie B2B, udział w ambitnych projektach AI, data oraz transformacji cyfrowej,

Qualifications

• Silne kompetencje w Data Science i prowadzeniu eksperymentów.
• Praktyczne doświadczenie w ewaluacji AI oraz modeli LLM.
• Dobre zrozumienie agentowych przepływów pracy i systemów AI.
• Umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań.
• Zdolność analizy wyników, identyfikowania błędów i wyciągania wniosków.

Responsibilities

• Projektowaniem i walidowaniem metryk ewaluacyjnych.
• Tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth.
• Analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji.
• Optymalizowaniem normalizacji metryk i sposobów obliczania punktacji.
• Rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge).
• Opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi.
• Badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Skills

Data Science

Eksperymenty

Ewaluacja AI/LLM

Analiza wyników

Metody oceny

Tools

Salesforce Marketing Cloud

Job description

Knowit Poland poszukuje Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych w globalnej platformie e-commerce dla wiodącego producenta zabawek. Zakres obejmuje projektowanie metryk, tworzenie zbiorów danych ground truth oraz ocenę wyników i jakości ewaluacji, z wykorzystaniem LLM oraz interakcji z ludzkimi opiniami.

Praca w Knowit Connectivity w formie B2B, udział w ambitnych projektach AI, data oraz transformacji cyfrowej,