AI Safety Evaluator — RLHF/Risk & Quality Review (Remote)
Mercor
Ottieni una risposta da questo datore di lavoro — un curriculum e una lettera di presentazione personalizzati, che corrispondono esattamente a ciò che sta cercando.
Descrizione del lavoro
Mercor cerca un AI Safety Practitioner per valutare risposte generate da IA, garantire sicurezza, accuratezza e conformità alle policy. La posizione è remote e offre compenso orario.
Il candidato ideale ha laurea in una disciplina affine e almeno 5 anni di esperienza in AI Safety o settori correlati, ottima padronanza dell'inglese scritto e capacità di analisi critica. Lavorerà a stretto contatto con ricercatori IA e team di sicurezza per definire rubriche di valutazione e fornire feedback
Competenze
- Laurea o superiore in una disciplina rilevante.
- 5+ anni di esperienza in AI Safety, Trust & Safety, giornalismo, policy pubblica o campi correlati.
- Ottima padronanza dell'inglese scritto, pensiero critico e capacità di ragionamento analitico.
- Capacità di valutare con attenzione scenari complessi e policy-sensitive.
Mansioni
- Valutare le risposte generate dall'IA per sicurezza, accuratezza e conformità alle policy.
- Rivedere contenuti su disinformazione, persuasione politica, autolesionismo, violenza, cyber, biosicurezza e altri domini sensibili.
- Applicare e rifinire rubriche di valutazione per RLHF, SFT e benchmark di sicurezza IA.
- Identificare output non sicuri, allucinazioni e violazioni di policy.
- Fornire feedback strutturato per migliorare l'allineamento del modello e la performance di sicurezza.
- Collaborare con ricercatori IA e team di sicurezza su iniziative di valutazione in corso.
Conoscenze
Formazione
Descrizione del lavoro
Mercor cerca un AI Safety Practitioner per valutare risposte generate da IA, garantire sicurezza, accuratezza e conformità alle policy. La posizione è remote e offre compenso orario.
Il candidato ideale ha laurea in una disciplina affine e almeno 5 anni di esperienza in AI Safety o settori correlati, ottima padronanza dell'inglese scritto e capacità di analisi critica. Lavorerà a stretto contatto con ricercatori IA e team di sicurezza per definire rubriche di valutazione e fornire feedback
'/%3e%3cpath%20d='M101.744%2012.4726L102.894%2016.1947L99.0021%2013.2201L101.744%2012.4726ZM105.3%208.40937H100.488L99.0026%203.59473L97.5116%208.41047L92.7%208.40385L96.5965%2011.3834L95.1055%2016.1942L99.0021%2013.2196L101.408%2011.3834L105.3%208.40992V8.40937Z'%20fill='white'/%3e%3cdefs%3e%3clinearGradient%20id='paint0_linear_5593_1381'%20x1='90'%20y1='9.44471'%20x2='99'%20y2='9.44471'%20gradientUnits='userSpaceOnUse'%3e%3cstop%20stop-color='%2300AD70'/%3e%3cstop%20offset='0.998594'%20stop-color='%2300B67A'/%3e%3cstop%20offset='1'%20stop-color='%23DCDCE6'/%3e%3c/linearGradient%3e%3c/defs%3e%3c/svg%3e){kind=small}
