Remote AI Quality Evaluator (Contractor)

YO AI Labs; Lombardia; Remote; EUR 40,000 - 60,000; Full time

Job summary

YO AI Labs cerca un AI Evaluation Specialist per valutare e migliorare la qualità delle risposte generate da modelli AI in un progetto di formazione aziendale. Il ruolo è da contractor con lavoro da remoto.

Valuterai output secondo rubriche dettagliate, identificherai problemi, fornirai feedback chiari e contribuirai al miglioramento continuo delle linee guida e delle pratiche di valutazione. Si privilegia autonomia e precisione.

Qualifications

• Esperienza in grading, QA, revisione editoriale o analisi simili.
• Uso avanzato quotidiano di AI assistant come ChatGPT, Claude o strumenti simili.
• Buona capacità di analizzare informazioni complesse e comunicare risultati per iscritto.
• Esperienza in miglioramento di processi, sviluppo di rubriche o valutazione qualità.

Responsibilities

• Valutare output AI rispetto a rubriche per accuratezza, rilevanza, qualità e linee guida.
• Applicare giudizio coerente su grandi volumi di esempi.
• Identificare gap di ragionamento, problemi di uso degli strumenti, errori logici e incoerenze.
• Forare feedback concisi e attuabili per migliorare sistemi AI.
• Partecipare a discussioni su interpretazione delle rubriche e criteri di valutazione.
• Contribuire a miglioramenti di processo e best practice di valutazione.
• Mantenere documentazione accurata delle valutazioni e raccomandazioni.

Skills

QA

Editorial review

Assessment

Annotation

Rubric development

Tools

ChatGPT

Claude

Job description

YO AI Labs cerca un AI Evaluation Specialist per valutare e migliorare la qualità delle risposte generate da modelli AI in un progetto di formazione aziendale. Il ruolo è da contractor con lavoro da remoto.

Valuterai output secondo rubriche dettagliate, identificherai problemi, fornirai feedback chiari e contribuirai al miglioramento continuo delle linee guida e delle pratiche di valutazione. Si privilegia autonomia e precisione.