Senior Data Scientist: AI Evaluation & Metrics

SQUARE ONE RESOURCES sp. z o.o.; Warszawa; On-site; PLN 180,000 - 300,000; Full time

Job summary

SQUARE ONE RESOURCES sp. z o.o. poszukuje Senior Data Scientist do międzynarodowego projektu z zakresu sztucznej inteligencji, LLM i oceny systemów. Do zadań należy projektowanie metryk oceny, budowa zestawów ground-truth oraz analiza wydajności modeli i przepływów agentowych.

Wyjątkowe umiejętności obejmują projektowanie metryk, analizę błędów modeli oraz opracowywanie rozwiązań do oceny z udziałem człowieka i automatyzacji. Praca stacjonarna w Warszawie w międzynarodowym zespole.

Qualifications

• Wymagane doświadczenie na stanowisku Senior Data Scientist lub podobnym.
• Silne umiejętności analityczne i statystyczne, wraz z doświadczeniem w eksperymentowaniu.
• Praktyczna znajomość oceny AI/LLM oraz projektowania metryk oceny.
• Dobra znajomość pracy z zestawami ground-truth i definicji kryteriów jakości.
• Zdolność samodzielnej analizy wyników eksperymentów i formułowania rekomendacji.

Responsibilities

• Projektowanie i walidacja metryk oceny oraz zbiorów ground-truth.
• Analiza jakości oceny: dokładność, fałszywe pozytywy/negatywy.
• Optymalizacja normalizacji i metod scoringu metryk.
• Rozwój i ulepszanie LLM-owych sędziów do automatycznej oceny.
• Projektowanie i wdrażanie podejść oceny z użyciem opinii człowieka.
• Badanie i rozwijanie nowych metryk oceny: złożoność, zgodność z instrukcjami, jakość wyjścia.

Skills

Data Science

Statistical analysis

Experimentation

AI/LLM evaluation

LLM understanding

Evaluation metrics design

Model error analysis

Ground-truth datasets

Data-driven recommendations

Analytical mindset

Job description

SQUARE ONE RESOURCES sp. z o.o. poszukuje Senior Data Scientist do międzynarodowego projektu z zakresu sztucznej inteligencji, LLM i oceny systemów. Do zadań należy projektowanie metryk oceny, budowa zestawów ground-truth oraz analiza wydajności modeli i przepływów agentowych.

Wyjątkowe umiejętności obejmują projektowanie metryk, analizę błędów modeli oraz opracowywanie rozwiązań do oceny z udziałem człowieka i automatyzacji. Praca stacjonarna w Warszawie w międzynarodowym zespole.