Analyste IA & Qualité Logicielle – Déploiement & Tests

Hydro-Québec

Montreal

Sur place

CAD 70 000 - 110 000

Plein temps

Il y a 9 jours

Une candidature complète en une minute

Un CV et une lettre de motivation personnalisés, prêts à envoyer.

Passez les filtres ATS

Résumé du poste

Hydro-Québec recherche un spécialiste en IA et évaluation des modèles pour rejoindre l'équipe QA et sécurité des systèmes. Vous analysez, diagnostiquer et améliorez les solutions, participez à la définition des besoins et à l'architecture des systèmes IA, et contribuez à la traçabilité des tests et à l'amélioration continue.

Le candidat idéal maîtrise les méthodes d'évaluation des LLM, les risques IA et l'utilisation des outils comme promptfoo, PyRIT et Langfuse, avec une expérience en Python

Qualifications

  • Connaissance des méthodes d'évaluation des LLM et conception de jeux d'évaluation.
  • Connaissance des risques des systèmes IA générative et agentiques.
  • Connaissance architecture RAG et orchestration d'outils IA.
  • Connaissance Python appliqué aux tests et à l'automatisation.
  • Connaissance des principes de surveillance des systèmes IA en exploitation.
  • Connaissance de la documentation des tests et des résultats observés.
  • Connaissance des outils d'évaluation et d'observabilité des LLM.
  • Connaissance des référentiels de gestion des risques en IA (NIST/IRMF, OWASP Top10).

Responsabilités

  • Analyser, diagnostiquer et résoudre les problèmes techniques des utilisateurs.
  • Participer à l'implantation, à l'installation et à la maintenance des logiciels et bases de données.
  • Participer à la définition des besoins en équipements et logiciels et proposer des améliorations.
  • Concevoir, réaliser, améliorer et corriger des programmes et rédiger les spécifications.
  • Réaliser et réviser les tests unitaires et l'assurance qualité.
  • Assister les utilisateurs et assurer les liens avec les parties prenantes.
  • Rédiger et mettre à jour la documentation nécessaire à la compréhension, au développement, à l'exploitation et à l’entretien des programmes.

Connaissances

Évaluation des LLM
Gestion risques IA
IA agentique
Python pour tests
Surveillance IA en exploitation
Documentation des tests
Rédaction de spécifications

Formation

Baccalauréat en informatique

Outils

promptfoo
Garak
PyRIT
Inspect
Langfuse
NISTAIRMF
OWASP Top10

Description du poste

Hydro-Québec recherche un spécialiste en IA et évaluation des modèles pour rejoindre l'équipe QA et sécurité des systèmes. Vous analysez, diagnostiquer et améliorez les solutions, participez à la définition des besoins et à l'architecture des systèmes IA, et contribuez à la traçabilité des tests et à l'amélioration continue.

Le candidat idéal maîtrise les méthodes d'évaluation des LLM, les risques IA et l'utilisation des outils comme promptfoo, PyRIT et Langfuse, avec une expérience en Python

Obtenez votre examen gratuit et confidentiel de votre CV.

ou faites glisser et déposez votre fichier ici.

Similar jobs

Postes similaires à comparer

Spécialiste Qualité (QA)
Spécialiste Qualité (QA)

IT UNLOCK CONSULTING INC. • Montreal

Sur place
CAD 90 000 - 120 000
Conseiller Stratégies Analytiques et IA
Conseiller Stratégies Analytiques et IA

Hydro-Québec • Montreal

Sur place
CAD 90 000 - 130 000
Analyste QA Tests manuels & automatises
Analyste QA Tests manuels & automatises

Vaco • Montreal

Sur place
CAD 60 000 - 85 000
Spécialiste Qualité (QA)
Spécialiste Qualité (QA)

IT Unlock • Montreal

Sur place
CAD 90 000 - 120 000
Analyste d'affaires IA — Optimisation & Cas d'Usage (Remote)
Analyste d'affaires IA — Optimisation & Cas d'Usage (Remote)

TEHORA • Lévis

Hybride
CAD 60 000 - 90 000
Télétravail flexible
Culture entrepreneuriale
Horaires flexibles
+4
Analyste de solutions technologiques émergentes (IA)
Analyste de solutions technologiques émergentes (IA)

Services SFT • Montreal

Sur place
CAD 90 000 - 135 000
QA Automation Engineer - Fire & Life Safety (Hybrid)
QA Automation Engineer - Fire & Life Safety (Hybrid)

AMARIS GROUP SA • Brossard

Hybride
CAD 90 000 - 120 000
Communauté internationale
Académie interne et modules de forma
Événements d’équipe
Analyste de solutions technologiques émergentes (IA)
Analyste de solutions technologiques émergentes (IA)

Solution SFT • Quebec

Sur place
CAD 80 000 - 120 000
Expert IA – Sécurité, Gouvernance & Conformité (Hybride)
Expert IA – Sécurité, Gouvernance & Conformité (Hybride)

Optisigma Inc. • Quebec

Hybride
CAD 110 000 - 160 000
Assurances collectives (dentaire, télÉ
REER
Formations professionnelles
+2
Analyste Support Applicatif IA — Hybride Métier & Dév
Analyste Support Applicatif IA — Hybride Métier & Dév

Societe Generale SA • Montreal

Hybride
CAD 70 000 - 95 000