Ai evaluation specialist - remote

YO AI Labs; Roma; Remote; EUR 62,000 - 80,000; Part time

Job summary

YO AI Labs cerca un AI Evaluation Specialist per valutare e migliorare la qualità delle risposte generate da AI in progetti aziendali.

Lavorerai su rubriche di valutazione, identificherai errori logici e fornirai feedback chiari per affinare i sistemi. È richiesto metodo, attenzione al dettaglio e capacità di lavorare in autonomia su grandi volumi.

Ideale se hai esperienza in QA, annotazione o revisione editoriale e familiarità con strumenti AI come ChatGPT o Claude.

Qualifications

• Esperienza in QA, revisione editoriale o valutazione analitica.
• Uso avanzato di strumenti AI come ChatGPT, Claude o simili.
• Capacità di analizzare informazioni complesse e comunicare risultati in modo chiaro.

Responsibilities

• Valutare uscite generate da AI rispetto rubriche di qualità.
• Applicare giudizio oggettivo su grandi volumi di esempi.
• Identificare gap logici, uso degli strumenti e incongruenze.
• Fornire feedback concisi e azionabili per migliorare i sistemi.
• Partecipare a discussioni su interpretazione delle rubriche e standard futuri.
• Contribuire a miglioramenti di processo e pratiche di valutazione.
• Mantenere documentazione accurata delle valutazioni e raccomandazioni.

Skills

Valutazione QA

Uso avanzato di AI

Analisi dati

Sviluppo rubriche

Pensiero critico

Indipendenza lavorativa

Dettagli accurati

Collaborazione

Job description

AI Evaluation Specialist

Luogo di lavoro: Roma

Role Type: Contractor

Location: Remote - US, Canada, UK, Ireland, Australia, New Zealand

We are seeking experienced AI Evaluation Specialists to assess and improve the quality of AI assistant outputs for an enterprise AI training project.

You’ll evaluate AI-generated responses using defined quality standards, identify issues, and provide clear feedback to help improve AI systems. No prior formal AI experience is required.

Scope of Work

• Evaluate AI-generated outputs against detailed rubrics for accuracy, relevance, quality, and adherence to guidelines.
• Apply consistent and objective judgment across large volumes of examples.
• Identify reasoning gaps, tool-use issues, logical errors, and inconsistencies.
• Provide concise, actionable feedback highlighting strengths and areas for improvement.
• Participate in discussions around rubric interpretation and evolving quality standards.
• Contribute to process improvements and evaluation best practices.
• Maintain accurate documentation of evaluations and recommendations.

Preferred Qualifications

• Experience in grading, quality assurance, editorial review, assessment, annotation, or similar analytical work.
• Advanced, daily use of AI assistants such as ChatGPT, Claude, or similar tools.
• Strong ability to analyze complex information and communicate findings clearly in writing.
• Experience with process improvement, rubric development, or quality assessment.
• Strong critical-thinking skills with a focus on consistency, accuracy, and fairness.
• Comfortable working independently on high-volume evaluation tasks.
• Strong attention to detail and ability to identify subtle quality issues.
• Collaborative approach to resolving ambiguous cases and improving evaluation criteria.