Directeur.rice, Évaluations

LoiZéro; Berlin; Vor Ort; EUR 120.000 - 190.000; Vollzeit

Benefits dieser Stelle

Santé complète

20 jours de congés annuels

Épargne retraite ≥4%

Bureaux à Montréal (Mile-Ex)

Zusammenfassung

LoiZéro recherche un Directeur.rice des évaluations pour bâtir et diriger l’équipe Évaluations afin de mesurer et démontrer la sécurité et les capacités de Scientist AI. Le poste exige une expertise en ML, en conception d’évaluations et en communication avec les parties prenantes, y compris les bailleurs de fonds.

Vous dirigerez la stratégie, recruterez une équipe de 8 à 10 personnes et développerez les benchmarks inédits.

Qualifikationen

• Diplôme d’études supérieures en ML/ informatique ou domaine lié.
• Plus de 10 ans d’expérience en ML, dont 5 ans en leadership.
• Expertise dans évaluation à grande échelle de LLM et systèmes avancés.
• Expérience création datasets, benchmarks ou environnements interactifs pour sécurité.

Aufgaben

• Définir la stratégie et la feuille de route des évaluations.
• Bâtir l’équipe Évaluations et conduire sa croissance 3–6 mois.
• Diriger l’équipe de manière indépendante des axes de recherche et produit.
• Concevoir et créer de nouveaux jeux de données et environnements virtuels.
• Évaluer Scientist AI lors du déploiement en tant que garde-fou et détecter les abus.
• Mettre en place des programmes de red-teaming internes et avec partenaires externes.
• Automatiser le pipeline d’évaluations et développer outils internes.
• Soutenir les équipes recherche et produit dans leurs besoins d’évaluation.
• Communiquer publiquement les résultats d’évaluation et renforcer la confiance.

Kenntnisse

Leadership ML

Conception d’évaluations

Communication écrite

Communication orale

Gestion d’équipe

Gestion de projets

Esprit critique

Ausbildung

Master/Doctorat en ML ou informatique

Tools

Benchmarks

Dataset design

Jobbeschreibung

LawZero est une organisation à but non lucratif qui conçoit des systèmes d'IA sûrs dès leur conception (safe-by-design). Nous développons « Scientist AI », un système d'IA de pointe conçu dès le départ pour être à la fois hautement performant et sécurisé. Parallèlement au développement de nos modèles généraux Scientist AI et de garde-fous de sécurité pour les modèles de langage de pointe (LLM frontier), nous devons évaluer de manière rigoureuse et indépendante chaque affirmation concernant leurs capacités et leur sécurité. Nous recherchons un.e Directeur.rice des évaluations pour structurer, diriger et faire grandir l’équipe Évaluations de LawZero.

Il s'agit d'un recrutement fondateur. Vous définirez ce qu'est une évaluation de classe mondiale chez LoiZéro, bâtirez l'équipe et l'infrastructure nécessaires pour la réaliser, et veillerez à ce que les évaluations restent indépendantes de l'axe de recherche principal. Cela permettra de garantir la fiabilité de nos affirmations sur les capacités et la sécurité de nos modèles, tant en interne qu'auprès de la communauté élargie de l'IA et de la sécurité de l'IA.

Responsabilités clés

• Définir la stratégie et la feuille de route des évaluations de LoiZéro, en priorisant ce qui doit être mesuré et à quel moment, en étroite coordination avec les équipes de recherche et de produit.
• Bâtir l'équipe Évaluations au cours de vos 3 à 6 premiers mois, pour atteindre environ 8 à 10 personnes spécialisées en recherche, ingénierie, conception d'ensembles de données datasets et de benchmarks, ainsi qu'en red-teaming.
• Diriger l'équipe de manière indépendante des axes principaux de recherche et de produit afin d'éviter tout conflit d'intérêt, ce qui inclut la conception de benchmarks inédits permettant de comparer équitablement apples-to-apples Scientist AI et les LLM de pointe.
• Superviser la conception et la création de nouveaux jeux de données, de tâches et d'environnements virtuels ou interactifs pour mesurer les performances de Scientist AI au niveau de ses capacités, sa sécurité (y compris l'honnêteté et l'orientation vers des objectifs), son applicabilité, ses mécanismes causaux et sa détection d'attaques adverses adversarial attacks.
• Diriger l'évaluation de Scientist AI lorsqu'il est déployé comme garde-fou guardrail autour de modèles de pointe, notamment sa capacité à se conformer aux spécifications sur les préjudices, à détecter et bloquer les réponses nocives, à expliquer ses décisions et à résister aux attaques adverses telles que le jailbreak, l'injection de requêtes prompt injection) et l'empoisonnement de données.
• Établir et diriger nos programmes de red-teaming automatisés et manuels, en interne et en partenariat avec des prestataires externes, afin de tester les limites de Scientist AI en tant que modèle généraliste et en tant que garde-fou.
• Piloter la création des outils et des infrastructures internes nécessaires pour exécuter des évaluations à grande échelle, en automatisant et en standardisant le pipeline autant que possible.
• Soutenir directement, au besoin et dans la mesure du possible, les équipes de recherche et de produit dans leurs propres besoins internes d'évaluation et de benchmarking afin de lever les blocages et d'accélérer les processus.
• Prendre en charge la communication publique des résultats d'évaluation de LawZero (notamment les fiches de modèles/systèmes — model cards, les rapports techniques, les publications évaluées par des pairs et les articles de blog) afin de renforcer la confiance avec la communauté de la sécurité de l'IA.
• Représenter LawZero à l'externe sur les questions d'évaluation et de mesure de la sécurité de l'IA, notamment auprès des instituts de sécurité de l'IA, des collaborateurs de recherche et des bailleurs de fonds.

Compétences et qualifications

• Diplôme d'études supérieures (Master, Doctorat ou équivalent) en apprentissage automatique (Machine Learning), informatique ou dans un domaine étroitement lié.
• Plus de 10 ans d'expérience en apprentissage automatique (Machine Learning), dont au moins 5 ans dans un rôle de leadership pour bâtir ou faire progresser des équipes techniques travaillant sur des produits ML concrets.
• Expertise pratique dans la conception et l'exécution d'évaluations à grande échelle de LLM ou d'autres systèmes de pointe (ML frontier) concernant leurs capacités, leur sécurité et leur robustesse face aux attaques.
• Expérience avérée dans la création d'ensemble de données d'évaluation, de benchmarks ou d'environnements interactifs, notamment pour des propriétés liées à la sécurité (l'honnêteté, la complaisance, les comportements de refus et la robustesse face aux attaques).
• Excellentes compétences en communication écrite et verbale, incluant la capacité à vulgariser des résultats techniques pour des publics non techniques (cadres dirigeants, bailleurs de fonds, décideurs politiques).
• Aisance à évoluer dans un environnement axé sur la recherche, rapide et empreint d'une forte ambiguïté, avec la capacité d'y apporter de la structure sans en ralentir le rythme.

Atouts:

• Une expérience dans la direction d'exercices de red-teaming (automatisés, manuels ou les deux) et dans le travail avec des partenaires externes d'évaluation ou de red-teaming est un atout.
• Expérience de collaboration conjointe avec des partenaires tiers pour la création de benchmarks (points de référence) et d'ensemble de données.
• Une expérience dans la publication d'ensemble de données open-source, de benchmarks ou d'outils d'évaluation est un atout.
• Une familiarité avec les travaux actuels sur les politiques et les normes de sécurité de l'IA (UK AISI, CAISI, NIST, l'IA Act de l'UE, etc.) est un atout.
• Une expérience de contribution ou de coordination avec des instituts de sécurité externes, des bailleurs de fonds ou des organismes gouvernementaux est un atout.

Ce que nous offrons

• L’occasion de contribuer à une mission unique avec un impact important.
• Des avantages santé complets.
• Un minimum de 20 jours de vacances dès l’embauche.
• Un contribution d'épargne retraite de l’employeur d'un minimum de 4%.
• Des avantages généreux et flexibles conçus pour contribuer à votre bien-être.
• Une équipe d’experts de leur domaine, des gens passionnés et passionnants.
• Un milieu de travail collaboratif et inclusif avec des bureaux au cœur de la Petite Italie, dans le quartier branché Mile-Ex à proximité des transports en commun.

LoiZéro est une organisation à but non lucratif dédiée à faire progresser la recherche et à développer des solutions techniques permettant de concevoir des systèmes d’IA sécuritaires. Son approche scientifique repose sur de nouvelles recherches et méthodes proposées par le professeur Yoshua Bengio, le chercheur en IA le plus cité au monde. Basée à Montréal, LoiZéro mène des recherches pour concevoir des systèmes d’IA non agentiques qui apprennent à comprendre le monde plutôt qu'à y intervenir, en répondant de manière véridique aux questions posées sur la base d'un raisonnement probabiliste transparent et extériorisé. De tels systèmes d'IA pourraient être utilisés pour accélérer la découverte scientifique, superviser les systèmes d'IA agentiques et faire progresser notre compréhension des risques de l'IA et des moyens de les éviter. LoiZéro croit que l’IA doit être considérée comme un bien public mondial, développée et utilisée de manière sécuritaire pour favoriser l’épanouissement humain. Plus d’information : www.loizero.org

Vous avez votre place ici

À LoiZéro, la diversité nous tient à cœur. Nous valorisons un environnement de travail équitable, ouvert et respectueux des différences. Nous encourageons les candidatures de personnes hautement qualifiées désireuses de travailler à la réalisation de notre mission dans un cadre respectueux, inclusif et collaboratif.