Ai evaluation specialist - remote

YO AI Labs; Lombardia; Remote; EUR 40.000 - 60.000; Vollzeit

Zusammenfassung

YO AI Labs cerca un AI Evaluation Specialist per valutare e migliorare la qualità delle risposte generate da modelli AI in un progetto di formazione aziendale. Il ruolo è da contractor con lavoro da remoto.

Valuterai output secondo rubriche dettagliate, identificherai problemi, fornirai feedback chiari e contribuirai al miglioramento continuo delle linee guida e delle pratiche di valutazione. Si privilegia autonomia e precisione.

Qualifikationen

• Esperienza in grading, QA, revisione editoriale o analisi simili.
• Uso avanzato quotidiano di AI assistant come ChatGPT, Claude o strumenti simili.
• Buona capacità di analizzare informazioni complesse e comunicare risultati per iscritto.
• Esperienza in miglioramento di processi, sviluppo di rubriche o valutazione qualità.

Aufgaben

• Valutare output AI rispetto a rubriche per accuratezza, rilevanza, qualità e linee guida.
• Applicare giudizio coerente su grandi volumi di esempi.
• Identificare gap di ragionamento, problemi di uso degli strumenti, errori logici e incoerenze.
• Forare feedback concisi e attuabili per migliorare sistemi AI.
• Partecipare a discussioni su interpretazione delle rubriche e criteri di valutazione.
• Contribuire a miglioramenti di processo e best practice di valutazione.
• Mantenere documentazione accurata delle valutazioni e raccomandazioni.

Kenntnisse

QA

Editorial review

Assessment

Annotation

Rubric development

Tools

ChatGPT

Claude

Jobbeschreibung

Luogo di lavoro: Milano
AI Evaluation Specialist

Role Type: Contractor
Location: Remote - US, Canada, UK, Ireland, Australia, New Zealand

We are seeking experienced AI Evaluation Specialists to assess and improve the quality of AI assistant outputs for an enterprise AI training project.

You'll evaluate AI-generated responses using defined quality standards, identify issues, and provide clear feedback to help improve AI systems. No prior formal AI experience is required.

Scope of Work

• Evaluate AI-generated outputs against detailed rubrics for accuracy, relevance, quality, and adherence to guidelines.
• Apply consistent and objective judgment across large volumes of examples.
• Identify reasoning gaps, tool-use issues, logical errors, and inconsistencies.
• Provide concise, actionable feedback highlighting strengths and areas for improvement.
• Participate in discussions around rubric interpretation and evolving quality standards.
• Contribute to process improvements and evaluation best practices.
• Maintain accurate documentation of evaluations and recommendations.

Preferred Qualifications

• Experience in grading, quality assurance, editorial review, assessment, annotation, or similar analytical work.
• Advanced, daily use of AI assistants such as ChatGPT, Claude, or similar tools.
• Strong ability to analyze complex information and communicate findings clearly in writing.
• Experience with process improvement, rubric development, or quality assessment.
• Strong critical-thinking skills with a focus on consistency, accuracy, and fairness.
• Comfortable working independently on high-volume evaluation tasks.
• Strong attention to detail and ability to identify subtle quality issues.
• Collaborative approach to resolving ambiguous cases and improving evaluation criteria.