Développeur·euse QA, Assistant IA

Poka FR; Quebec; Híbrido; CAD 85.000 - 110.000; Jornada completa

Descripción de la vacante

Poka recherche un spécialiste QA pour automatiser les tests et bâtir des evals autour de l’assistant IA déployé sur les planchers de production. Vous travaillerez avec les devs, l’équipe produit et l’équipe design pour définir ce que signifie “bon” et mettre en place des tests et des outils qui vérifient ces standards.

Vous écrivez du Python chaque semaine, participez à la définition des critères d’acceptation et conduisez des tests dans un cadre CI robustes.

Formación

• Expérience en automatisation des tests et en SDET.
• Capacité à écrire et maintenir des tests automatisés en Python.
• Connaissance des évaluations LLM et du calibrage sur des échantillons humains.
• Compétences en test CI et régression sans tests manuels.

Responsabilidades

• Écrire et maintenir des évaluations et tests automatisés pour l’assistant IA.
• Mettre en place et exécuter des vérifications de régression dans le CI.
• Analyser les échecs et les tendances et proposer des correctifs.
• Contribuer aux tests adverses et à la sécurité des données.
• Participer aux critères d’acceptation lors du lancement de fonctionnalités.

Conocimientos

Python

TypeScript

Automation testing

LLM evaluation

CI & automation

Educación

AEC/DEC/BAC dans un domaine lié

Herramientas

Jira

promptfoo

Descripción del empleo

Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur.

Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.

Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.

Aperçu du poste

Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.

En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.

En quoi c'est différent de la QA traditionnelle

• Aucune passe de tests manuels. Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
• Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
• Tu écris du Python chaque semaine.

Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.

• Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
• Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
• Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
• Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité. Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
• Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
• Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
• Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
• Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
• AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
• De 2 à 4 ans d'expérience pertinente
• Un parcours en automatisation des tests ou comme SDET
• Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
• Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
• Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
• De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.

Atouts

• Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
• De l'expérience avec des outils d'IA pour accélérer les tests
• Des notions de base en statistiques : taux de réussite, variance, taille d'échantillon
• De l'expérience en tests de sécurité ou en tests adverses
• Une connaissance de la pyramide des tests et de l'approche shift-left
• De l'expérience B2B ou sur des plateformes industrielles
• Une connaissance de Jira

Les technologies que tu utiliseras

• Framework d'évaluation (promptfoo)
• Et bien d'autres

On croit fermement que la passion pour les nouvelles technologies, une attitude positive et un véritable esprit d'équipe sont essentiels pour réussir chez Poka.

Surtout, on cherche quelqu'un de curieux et de débrouillard. Tu as à cœur le succès du produit et de ton équipe. Tu aimes les problèmes complexes, surtout ceux qui n'ont pas de solution évidente. Tu veux écrire du code propre et de qualité, et continuer d'apprendre.

Si ça te ressemble, tu es probablement la personne qu'on cherche !

• Un environnement de travail dynamique et collaboratif;
• Politique de vacances généreuse dès ton arrivée;
• Mode hybride - Les employé.es qui habitent dans un rayon de 40 km de notre bureau de Québec ou de 15 km de notre bureau de Montréal doivent travailler au bureau deux jours par semaine.
• Travail 100 % à distance si vous ne résidez pas dans les rayons mentionnés ci-dessus;
• Horaire réellement flexible permettant d’adapter ton emploi du temps;
• Assurance collective dès ton premier jour (dentaire, médicaments, invalidité, assurance voyage, etc.)avec contribution de l’employeur, comprenant l’accès à la télémédecine et à un PAE;
• REER collectif avec contribution de l’employeur, offert après un an de service via Wealthsimple;
• MacBook Pro et une allocation de 500$ pour ton bureau à la maison lors de l'embauche;
• Un généreux budget annuel de formation et développement pour soutenir ta croissance, ainsi que les outils et opportunités nécessaires pour continuer à progresser dans ta carrière.
• Un programme de référencement d'employés avantageux pour les embauches réussies.
• Des collations savoureuses à volonté (Fruits frais, collations, viennoiseries, cafés, thés, etc.)

Tu veux en savoir plus sur notre culture? Clique ICI .

À noter:

La compréhension de l’anglais est essentielle chez Poka, car c’est la langue utilisée lors de nos réunions de compagnie et de nombreuses communications internes, assurant une collaboration et une prise de décision efficace. De plus, comme Poka évolue dans un environnement international, l’anglais est la langue principale de communication avec nos clients et partenaires, ce qui permet de mieux les servir et de représenter Poka de façon professionnelle.

Chez Poka, nous nous engageons à favoriser l’équité, la diversité et l’inclusion dans nos pratiques d’embauche. Tu peux choisir de partager ton identité de genre ci-dessous pour nous aider à suivre et à améliorer nos efforts en matière de recrutement équitable. Cette information est entièrement facultative, confidentielle, et seulement accessible au personnel RH autorisé. Elle sera utilisée uniquement à des fins statistiques, de façon anonymisée et agrégée, afin d’assurer des pratiques d’embauche justes et inclusives. Ta réponse n’aura aucun impact sur ta candidature. Tu peux retirer ton consentement à tout moment en écrivant à : [e-mail].