Data Scientist

Knowit; Województwo kujawsko-pomorskie; On-site; PLN 180,000 - 260,000; Full time

Benefits offered by this job

B2B współpraca

Ambitne projekty

Praca z ekspertami

Elastyczność pracy

Nowoczesny stack

Job summary

Knowit Connectivity w Polsce poszukuje specjalisty ds. ewaluacji AI do pracy nad oceną jakości systemów AI i metryk ewaluacyjnych. Do zadań należy projektowanie i walidacja metryk, tworzenie zestawów ground truth oraz analiza trafności i błędów.

Doświadczenie w ewaluacji AI i modelach LLM będzie kluczowe. Oferujemy pracę w dynamicznym zespole, możliwość realizacji ambitnych projektów dla różnych klientów z branż AI i data, a także elastyczność w realizacji zadań i środowisko współpracy z

Qualifications

• Silne kompetencje w obszarze Data Science i prowadzenia eksperymentów.
• Praktyczne doświadczenie w ewaluacji rozwiązań AI oraz modeli LLM.
• Dobre zrozumienie agentowych przepływów pracy i systemów AI.
• Umiejętność projektowania metod mierzenia jakości rozwiązań.
• Zdolność analizy wyników i wyciągania wniosków z eksperymentów.

Responsibilities

• Projektowaniem i walidowaniem metryk ewaluacyjnych.
• Tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth.
• Analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji.
• Optymalizowaniem normalizacji metryk i sposobów obliczania punktacji.
• Rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge).
• Opracowywaniem podejść ewaluacyjnych z wykorzystaniem informacji zwrotnej od ludzi.
• Badaniem nowych metryk dotyczących złożoności i zgodności z instrukcją w promptcie.

Skills

Data Science

AI evaluation

LLM experience

Experimentation

Result analysis

Job description

Twoje Zadania

• projektowaniem i walidowaniem metryk ewaluacyjnych;
• tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth;
• analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji;
• optymalizowaniem normalizacji metryk i sposobów obliczania punktacji;
• rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge);
• opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi;
• badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Czego oczekujemy

• silne kompetencje w obszarze Data Science i prowadzenia eksperymentów;
• praktyczne doświadczenie w ewaluacji rozwiązań AI oraz modeli LLM;
• dobre zrozumienie agentowych przepływów pracy i systemów AI;
• umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań;
• zdolność analizy wyników, identyfikowania błędów oraz wyciągania wniosków z przeprowadzonych eksperymentów;analityczne, dokładne i metodyczne podejście do pracy.

Mile widziane

• podstawowa wiedza z zakresu grafiki 3D, geometrii lub renderowania.

Oferujemy

• Współpracę w formule B2B opartą na partnerskich zasadach
• Możliwość realizacji ambitnych projektów dla klientów z różnych branż
• Udział w projektach technologicznych z obszaru AI, data oraz transformacji cyfrowej
• Współpracę z organizacją realnie zaangażowaną w zrównoważony rozwój i odpowiedzialne wykorzystanie technologii
• Elastyczność w zakresie organizacji i sposobu realizacji zadań projektowych
• Dostęp do środowiska ekspertów i wymianę wiedzy w ramach realizowanych przedsięwzięć
• Projekty realizowane z wykorzystaniem nowoczesnego stosu technologicznego i najnowszych rozwiązań rynkowych
• Poszerzanie doświadczeń poprzez udział w innowacyjnych przedsięwzięciach i wdrożeniach

Knowit to nordycka firma konsultingowa, która pomaga firmom, instytucjom publicznym i organizacjom odnosić sukcesy w transformacji cyfrowej. Dzięki ekspertyzie w obszarze tworzenia oprogramowania, AI, cyberbezpieczeństwa, usług chmurowych, cyfrowych doświadczeń klienta oraz doradztwa zarządczego, tworzymy rozwiązania, które przyczyniają się do bardziej zrównoważonego i skoncentrowanego na człowieku społeczeństwa.

Zatrudniamy około 3700 osób, pracujących w ramach naszych obszarów biznesowych: Solutions, Experience, Connectivity, Insight i Products, głównie w krajach nordyckich, a także w Polsce, Serbii i Niemczech.

Pracuj z nami w Knowit Connectivity, gdzie rozwijamy zaawansowane technicznie systemy w obszarze rozwiązań embedded i connected. U nas będziesz pracować nad złożonymi produktami razem z doświadczonymi inżynierami, przy projektach na pierwszej linii nowych technologii.

We don't wait for the future. We build it.