Work Location
Montréal, Quebec, Canada
Hours
37.5
Line of Business
Analytics, Insights, & Artificial Intelligence
Pay Details
$156,500 - $190,000 CAD
Job Description (English)
Department Overview
The Model Validation (MV) group is a centralized Model Risk Management function within the Bank. It has seen fast growth in the past few years reflecting global regulators’ increasing attention on model risk. The Artificial Intelligence / Machine Learning (AI/ML) Model Validation (MV) group is responsible for the review/vetting and approval of AI/ML models developed and used across the enterprise, including Generative AI and other contemporary Deep Learning models.
Responsibilities
- Lead R&D in the GenAI/Agentic/LLM evaluation and testing areas.
- Lead a team of Machine Learning Scientists to validate complex AI/ML models, particularly Generative AI, LLMs / NLP and Deep Learning models.
- Validate AI/ML models, particularly Generative AI and Deep Learning models, and provide independent validation challenges.
- Recommend model approval or corrective actions, lead and support a team of validators, set performance objectives and provide regular feedback.
- Communicate objectives and strategies, align activities with business objectives, and support employee development and coaching.
- Develop standards and procedures for validating Generative AI, NLP and Deep Learning models compliant with internal policies, best practices and regulatory requirements.
- Respond to regulator and audit requests, provide necessary information and assistance.
- Work with internal model development groups, audit and other partners to ensure models meet required Bank standards.
- Ensure appropriate use of AI/ML models, identify new models/techniques as standards evolve and requirements change.
- Maintain professional knowledge of AI and Machine Learning, share knowledge with business partners and senior management, provide subject matter expertise.
- Stay up to date with generative AI advancements, key LLMs, evaluation metrics, technology stacks and datasets.
- Communicate findings and recommendations to technical and non‑technical stakeholders.
Requirements
- Advanced quantitative and AI/ML skills, post‑secondary degree in computer science, machine learning/AI, engineering, statistics, mathematics, etc.
- 4+ years of experience developing or validating Generative AI, LLMs, NLP and Deep Learning models; 2+ years leading a small team of ML scientists.
- In‑depth knowledge of AI/ML methodologies, concepts, and theory including Generative AI, Deep Learning, modern NLP, RAG, Transformers, Diffusion models, etc.
- Experience with Deep Learning and Generative AI stacks and libraries such as PyTorch, PromptFlow, LangChain, HuggingFace, etc.
- Motivated to stay up to date with latest advancements in Generative AI, ML, and cloud technologies.
- Proficient in Python and familiar with cloud platforms (Azure, AWS) and big data technologies (PySpark, Hadoop).
- Familiarity with data structures, algorithm design, OOP principles, ML explainability/interpretable algorithms.
- Excellent verbal and written communication, stakeholder management, analytical and critical thinking skills, time/project management, multitasking with minimal supervision.
Preferred Qualifications
- Publications in relevant conferences/journals and research in GenAI/LLM field.
- Ability to implement AI/ML algorithms from academic research papers.
Job Description (French)
Aperçu du département
Le groupe de Validation des Modèles (Model Validation – MV) est une fonction centralisée de gestion du risque de modèles au sein de la Banque. Il a connu une forte croissance au cours des dernières années, reflétant l’attention accrue des régulateurs mondiaux sur le risque de modèles. Le groupe de Validation des Modèles d’Intelligence Artificielle et d’Apprentissage Automatique (IA/AA – AI/ML MV) est responsable de l’examen, de l’évaluation et de l’approbation des modèles IA/AA développés et utilisés dans l’ensemble de l’entreprise, y compris les modèles d’IA générative et d’autres modèles contemporains d’apprentissage profond.
Responsabilités détaillées
- Diriger la R&D dans les domaines de l’évaluation et des tests des modèles GenAI/Agentiques/LLM.
- Diriger une équipe de scientifiques en apprentissage automatique chargés de valider des modèles IA/AA complexes, notamment les modèles d’IA générative, LLM/NLP et d’apprentissage profond.
- Valider les modèles IA/AA, en particulier les modèles génératifs et d’apprentissage profond, tester/évaluer et fournir un défi constructif aux développeurs.
- Recommander l’approbation des modèles ou proposer des mesures correctives à la suite de la validation indépendante.
- Diriger et soutenir une équipe de validateurs de modèles.
- Définir les objectifs de performance pour tout le personnel et fournir des rétroactions régulières.
- Communiquer les objectifs et stratégies du groupe et aligner les activités avec les objectifs d’affaires.
- Soutenir le développement des employés, coacher et accompagner les membres de l’équipe dans l’atteinte de leurs objectifs professionnels.
- Assumer un rôle de leadership dans l’élaboration de normes et procédures pour la validation des modèles d’IA générative, de NLP et d’apprentissage profond, conformes à la politique interne de gestion du risque de modèles, aux meilleures pratiques industrielles et académiques, et aux exigences réglementaires.
- Répondre aux demandes des régulateurs canadiens et américains, ainsi qu’aux auditeurs internes et externes, concernant l’examen des modèles et les processus/procédure de validation.
- Collaborer efficacement avec les équipes internes de développement de modèles, l’audit et d’autres partenaires internes afin de s’assurer que les modèles répondent aux normes requises pour leur utilisation au sein de la Banque.
- Jouer un rôle clé dans l’assurance d’une utilisation appropriée des modèles IA/AA. Identifier la nécessité d’implanter de nouveaux modèles/techniques à mesure que les normes industrielles évoluent et que les exigences réglementaires changent.
- Maintenir une expertise approfondie des techniques et avancées en IA et en apprentissage automatique, et partager les connaissances avec les partenaires d’affaires et la haute direction.
- Rester à jour sur les avancées en IA générative, y compris les publications majeures, les modèles de langage (LLMs), les métriques d’évaluation, les piles technologiques et les jeux de données.
- Communiquer les conclusions et recommandations aux parties prenantes techniques et non‑techniques.
Exigences du poste
- Compétences avancées en quantitatif et en IA/AA, diplôme postsecondaire en informatique, apprentissage automatique/IA, génie, statistiques, mathématiques, etc.
- Plus de 4 ans d’expérience dans le développement ou la validation de modèles d’IA générative, LLM, NLP et d’apprentissage profond; plus de 2 ans d’expérience dans la direction d’une petite équipe de scientifiques en apprentissage automatique.
- Connaissance approfondie des méthodologies, concepts et théories IA/AA, incluant IA générative, apprentissage profond, NLP moderne, RAG, Transformers, modèles de diffusion, etc.
- Expérience avec les piles technologiques et bibliothèques d’apprentissage profond et d’IA générative telles que PyTorch, PromptFlow, LangChain, HuggingFace, etc.
- Motivation à rester informé des dernières avancées en IA générative, apprentissage automatique et technologies cloud.
- Maîtrise d’un ou plusieurs langages de programmation/scripting (ex. Python).
- Familiarité avec les plateformes cloud (Azure, AWS) et les technologies Big Data (PySpark, Hadoop).
- Connaissance des structures de données, la conception d’algorithmes, et principes de la programmation orientée objet (POO).
- Connaissance des algorithmes d’explicabilité/interprétabilité des modèles ML.
- Excellentes compétences en communication orale et écrite, gestion des parties prenantes et rédaction de rapports techniques.
- Solides compétences d’analyse et de pensée critique.
- Excellent gestion du temps, projet, multitâche sous supervision minimale.
Qualifications souhaitées
- Publications et recherches dans le domaine GenAI/LLM.
- Capacité à implémenter des algorithmes IA/AA à partir d’articles de recherche académiques.