Data Scientist

Knowit Poland; Łódź; On-site; PLN 180,000 - 240,000; Full time

Job summary

Knowit Poland poszukuje Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych w globalnej platformie e-commerce dla wiodącego producenta zabawek. Zakres obejmuje projektowanie metryk, tworzenie zbiorów danych ground truth oraz ocenę wyników i jakości ewaluacji, z wykorzystaniem LLM oraz interakcji z ludzkimi opiniami.

Praca w Knowit Connectivity w formie B2B, udział w ambitnych projektach AI, data oraz transformacji cyfrowej,

Qualifications

• Silne kompetencje w Data Science i prowadzeniu eksperymentów.
• Praktyczne doświadczenie w ewaluacji AI oraz modeli LLM.
• Dobre zrozumienie agentowych przepływów pracy i systemów AI.
• Umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań.
• Zdolność analizy wyników, identyfikowania błędów i wyciągania wniosków.

Responsibilities

• Projektowaniem i walidowaniem metryk ewaluacyjnych.
• Tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth.
• Analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji.
• Optymalizowaniem normalizacji metryk i sposobów obliczania punktacji.
• Rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge).
• Opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi.
• Badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Skills

Data Science

Eksperymenty

Ewaluacja AI/LLM

Analiza wyników

Metody oceny

Tools

Salesforce Marketing Cloud

Job description

Dołącz do projektu realizowanego dla jednego z najbardziej rozpoznawalnych producentów zabawek na świecie. Poszukujemy Salesforce Marketing Cloud Engineera na poziomie Mid lub Senior, który wesprze rozwój skalowalnych rozwiązań marketingowych umożliwiających tworzenie spersonalizowanych doświadczeń klientów na globalnej platformie e-commerce.

Twoje zadania:

• projektowaniem i walidowaniem metryk ewaluacyjnych;
• tworzeniem oraz weryfikowaniem zbiorów danych typu ground truth;
• analizowaniem trafności wyników, przypadków false positive i false negative oraz ogólnej jakości ewaluacji;
• optymalizowaniem normalizacji metryk i sposobów obliczania punktacji;
• rozwijaniem metod oceny wykorzystujących LLM jako sędziego (LLM-as-a-judge);
• opracowywaniem podejść ewaluacyjnych wykorzystujących informację zwrotną od ludzi;
• badaniem nowych metryk, dotyczących m.in. złożoności oraz zgodności odpowiedzi z instrukcją zawartą w prompcie.

Czego oczekujemy:

• silne kompetencje w obszarze Data Science i prowadzenia eksperymentów;
• praktyczne doświadczenie w ewaluacji rozwiązań AI oraz modeli LLM;
• dobre zrozumienie agentowych przepływów pracy i systemów AI;
• umiejętność projektowania metod pozwalających rzetelnie mierzyć jakość rozwiązań;
• zdolność analizy wyników, identyfikowania błędów oraz wyciągania wniosków z przeprowadzonych eksperymentów;
• analityczne, dokładne i metodyczne podejście do pracy.

Mile widziane:

• podstawowa wiedza z zakresu grafiki 3D, geometrii lub renderowania.

Oferujemy:

• Współpracę w formule B2B opartą na partnerskich zasadach
• Możliwość realizacji ambitnych projektów dla klientów z różnych branż
• Udział w projektach technologicznych z obszaru AI, data oraz transformacji cyfrowej
• Współpracę z organizacją realnie zaangażowaną w zrównoważony rozwój i odpowiedzialne wykorzystanie technologii
• Elastyczność w zakresie organizacji i sposobu realizacji zadań projektowych
• Dostęp do środowiska ekspertów i wymianę wiedzy w ramach realizowanych przedsięwzięć
• Projekty realizowane z wykorzystaniem nowoczesnego stosu technologicznego i najnowszych rozwiązań rynkowych
• Poszerzanie doświadczeń poprzez udział w innowacyjnych przedsięwzięciach i wdrożeniach

Knowit to nordycka firma konsultingowa, która pomaga firmom, instytucjom publicznym i organizacjom odnosić sukcesy w transformacji cyfrowej. Dzięki ekspertyzie w obszarze tworzenia oprogramowania, AI, cyberbezpieczeństwa, usług chmurowych, cyfrowych doświadczeń klienta oraz doradztwa zarządczego, tworzymy rozwiązania, które przyczyniają się do bardziej zrównoważonego i skoncentrowanego na człowieku społeczeństwa.

Zatrudniamy około 3700 osób, pracujących w ramach naszych obszarów biznesowych: Solutions, Experience, Connectivity, Insight i Products, głównie w krajach nordyckich, a także w Polsce, Serbii i Niemczech.

Pracuj z nami w Knowit Connectivity, gdzie rozwijamy zaawansowane technicznie systemy w obszarze rozwiązań embedded i connected. U nas będziesz pracować nad złożonymi produktami razem z doświadczonymi inżynierami, przy projektach na pierwszej linii nowych technologii.

We don’t wait for the future. We build it.