Spécialiste en évaluation et assurance de l'IA

Systematix; Montreal (administrative region); Hybrid; CAD 75,000 - 105,000; Full time

Benefits offered by this job

Assurance collective

Programme d'aide

Congés et vacances

Job summary

Systematix Montréal recherche un Spécialiste en évaluation et assurance de l’IA pour contribuer à des projets stratégiques et améliorer continuellement des solutions IA déployées dans des environnements d’affaires complexes.

Vous évaluerez, validerez et améliorerez la qualité des systèmes d’IA afin d’assurer leur performance et leur fiabilité, en collaboration avec des équipes pluridisciplinaires.

Qualifications

• Expérience en assurance qualité de solutions d’IA.
• Évaluation de modèles d’IA et IA générative.
• Élaboration de scénarios de tests et protocoles d’évaluation.
• Analyse de résultats et métriques de performance.
• Validation de systèmes automatisés.
• Gestion et analyse d’incidents.
• Amélioration continue et contrôle qualité.
• Niveau de français avancé à l’oral et à l’écrit.
• Permis de travail valide permettant de travailler au Canada.

Responsibilities

• Concevoir, maintenir et enrichir les jeux d’évaluation, les cas d’essai et les ensembles de référence utilisés pour mesurer la performance des solutions d’IA;
• Réaliser des évaluations automatisées et humaines avant le déploiement et en production;
• Effectuer des essais de robustesse et des tests adverses afin d’identifier les risques, les comportements indésirables et les signaux critiques manqués;
• Mesurer et analyser la qualité des réponses générées par les systèmes d’IA;
• Suivre les taux de correction humaine, d’escalade et les indicateurs de qualité opérationnelle;
• Analyser les incidents liés à l’IA et contribuer à la mise en place de mesures correctives;
• Produire des rapports d’évaluation rigoureux distinguant clairement les faits observés, les hypothèses et les éléments à valider;
• Participer à l’amélioration continue des règles d’affaires, des invites (prompts), des mécanismes de contrôle et des garde-fous.

Skills

Assurance qualité IA

Évaluation IA / IA générative

Conception de tests

Analyse de performance

Validation systèmes automatisés

Gestion incidents

Amélioration continue

Français avancé

Permis Canada

Job description

Spécialiste en évaluation et assurance de l’IA

Montréal | Hybride | Permanent ou pigiste incorporé

Systematix est à la recherche d’un(e) Spécialiste en évaluation et assurance de l’intelligence artificielle pour contribuer à des initiatives stratégiques en IA et participer à l’amélioration continue de solutions innovantes déployées dans des environnements d’affaires complexes.

Vous jouerez un rôle clé dans l’évaluation, la validation et l’amélioration de la qualité des systèmes d’intelligence artificielle afin d’assurer leur performance, leur fiabilité et leur maîtrise opérationnelle.

Vos responsabilités

• Concevoir, maintenir et enrichir les jeux d’évaluation, les cas d’essai et les ensembles de référence utilisés pour mesurer la performance des solutions d’IA;
• Réaliser des évaluations automatisées et humaines avant le déploiement et en production;
• Effectuer des essais de robustesse et des tests adverses afin d’identifier les risques, les comportements indésirables et les signaux critiques manqués;
• Mesurer et analyser la qualité des réponses générées par les systèmes d’IA;
• Suivre les taux de correction humaine, d’escalade et les indicateurs de qualité opérationnelle;
• Analyser les incidents liés à l’IA et contribuer à la mise en place de mesures correctives;
• Produire des rapports d’évaluation rigoureux distinguant clairement les faits observés, les hypothèses et les éléments à valider;
• Participer à l’amélioration continue des règles d’affaires, des invites (prompts), des mécanismes de contrôle et des garde-fous.

Profil recherché

Vous possédez une expérience pertinente dans plusieurs des domaines suivants :

• Assurance qualité de solutions d’intelligence artificielle;
• Évaluation de modèles d’IA ou d’IA générative;
• Élaboration de scénarios de tests et de protocoles d’évaluation;
• Analyse de résultats, métriques de performance et indicateurs de qualité;
• Validation de systèmes automatisés;
• Gestion et analyse d’incidents;
• Amélioration continue et contrôle qualité.
• Niveau de français avancé, tant à l'oral qu'à l'écrit.
• Permis de travail valide permettant de travailler au Canada.

Atouts

• Expérience avec des solutions d’IA générative ou des grands modèles de langage (LLM);
• Connaissance des enjeux liés à l’IA responsable, à la gouvernance ou à la gestion des risques.

Pourquoi joindre Systematix?

En vous joignant à Systematix, vous intégrerez une équipe reconnue pour son expertise et sa contribution à des projets stratégiques auprès de grandes organisations canadiennes.

Pour les employés permanents admissibles, nous offrons un programme complet d'avantages sociaux, comprenant notamment :

• Assurance collective (soins médicaux, dentaires, vie et invalidité);
• Programme d'aide aux employés et à leur famille;
• Congés et vacances;

Systematix accueille également les candidatures de consultants incorporés souhaitant réaliser leur mandat à titre de pigiste.