Ingénieur(e) IA senior

Dayforce; Toronto; On-site; CAD 120,000 - 180,000; Full time

Job summary

Dayforce, entreprise internationale de GCH, recherche un(e) ingénieur IA senior pour concevoir et évaluer des systèmes d’agents d’entreprise, allant des agents simples aux systèmes multi-agents utilisant des outils et des flux de travail autonomes.

Vous développerez des cadres d’évaluation couvrant l’intention, la planification, la récupération, l’utilisation des outils et le raisonnement, et vous proposerez des benchmarks pour choisir l’architecture adaptée.

Qualifications

• Solide expérience en ingénierie IA/ML et évaluation expérimentale.
• Compétences en conception de cadres d’évaluation pour systèmes IA d’entreprise.
• Maîtrise des approches de RAG, d’orchestration d’agents et d’évaluation de performances.

Responsibilities

• Concevoir des cadres d’évaluation agentique et des benchmarks.
• Évaluer les systèmes selon précision, planification, récupération, outils et routage.
• Analyser les traces et améliorer la fiabilité et la conformité.

Skills

Python

IA/ML évaluation

Expérimentation IA

RAG & embeddings

Orchestration d’agents

Observabilité IA

Job description

Dayforce est une entreprise internationale de gestion du capital humain (GCH) dont le siège social est situé à Toronto (Ontario) et à Minneapolis (Minnesota), et qui opère en Amérique du Nord, en Europe, au Moyen-Orient et en Afrique (EMEA), ainsi que dans la région Asie-Pacifique et Japon (APJ).

Notre plateforme GCH Cloud primée offre une base de données unifiée et un moteur de calcul continu, optimisant ainsi l'efficacité, la productivité et la conformité des effectifs à l'échelle mondiale.

Notre promesse de marque – Améliorer la vie au travail – témoigne de notre engagement envers nos employés, nos clients, nos partenaires et les communautés du monde entier.

À propos de l’opportunité

Nous recherchons un(e) ingénieur(e) IA senior – Évaluation des systèmes agentiques pour contribuer à définir la façon dont nous mesurons, testons et améliorons la qualité des systèmes d’IA d’entreprise.

Alors que l’IA évolue des assistants conversationnels et de la génération augmentée par récupération (RAG) vers des agents utilisant des outils, des systèmes multi-agents et des flux de travail métier autonomes, évaluer uniquement la réponse finale ne suffit plus.

Un agent peut obtenir la bonne réponse tout en choisissant le mauvais outil, en effectuant des étapes inutiles, en récupérant un contexte incorrect, en omettant de recourir à un humain ou en enfreignant des règles métier.

Ce poste consistera à élaborer les cadres d’évaluation nécessaires pour comprendre non seulement si un système d’IA a réussi, mais aussi comment il a réussi, avec quelle fiabilité il peut reproduire ce résultat, et si l’architecture est adaptée au problème.

Ce que vous allez faire

Élaborer des cadres d’évaluation agentique

Concevoir des méthodologies d’évaluation couvrant l’ensemble du cycle d’exécution de l’IA :

Intention → Planification → Récupération → Utilisation des outils → Raisonnement → Action → Résultat métier

Évaluer les systèmes selon des dimensions telles que :

• précision des tâches et des résultats métier
• qualité de la planification et de la prise de décision
• qualité de la récupération et ancrage factuel
• sélection et exécution des outils
• routage et délégation entre agents
• dé décisions d’escalade vers un humain
• fiabilité et reprise après défaillance
• sécurité et conformité aux politiques
• latence, consommation de jetons et coût

Évaluer les modèles de conception agentique

Concevoir des expériences et des benchmarks qui aident les équipes d’ingénierie à déterminer quelle architecture convient le mieux à un problème donné.

Évaluer des modèles tels que :

• Systèmes à agent unique vs systèmes multi-agents
• Architectures superviseur/routeur
• Modèles planificateur–exécuteur
• Flux de travail séquentiels et parallèles
• Agents utilisant des outils
• Flux de travail avec intervention humaine (human-in-the-loop)
• Agents de longue durée avec état et mémoire

Mesurer si la complexité supplémentaire des agents améliore réellement la réussite des tâches, la fiabilité et les résultats métier suffisamment pour justifier l’augmentation de la latence, des coûts et de la complexité opérationnelle.

Faire progresser l’évaluation du RAG et des connaissances

Élaborer des approches d’évaluation rigoureuses pour les systèmes de récupération et de connaissances en entreprise, notamment :

• précision et pertinence de la récupération
• ancrage factuel et exactitude des citations
• autorité et actualité des sources
• stratégies de découpage, de métadonnées et d’indexation
• recherche sémantique vs hybride et reclassement
• récupération tenant compte des autorisations

Évaluer l’impact final des décisions de récupération sur la performance des agents en aval, plutôt que de traiter l’évaluation du RAG comme un problème isolé.

Mettre en place des tests d’évaluation automatisés et de non-régression

Développer une infrastructure d’évaluation évolutive, notamment :

• jeux de données de référence (golden) et synthétiques
• suites de tests de scénarios et de tests adverses
• évaluateurs déterministes
• évaluation par LLM-as-a-Judge
• processus d’évaluation humaine
• évaluation basée sur les traces
• tests de non-régression automatisés

Intégrer les évaluations aux pipelines de développement et de mise en production de l’IA afin que les modifications apportées aux modèles, aux prompts, à la récupération, aux outils ou aux architectures d’agents puissent être mesurées avant leur mise en production.

Mettre en place l’analyse des traces et des défaillances des agents

Analyser les traces d’exécution complètes des agents, y compris la planification, le contexte récupéré, les appels d’outils, les transferts, les nouvelles tentatives, les exceptions, la latence et le coût.

• Défaillances du modèle | de la récupération | de la planification | des outils | du routage | de la mémoire | de l’intégration | des politiques | de l’orchestration

Transformer les défaillances en production et les retours des utilisateurs en tests de non-régression mesurables et en améliorations d’ingénierie.

Définir la qualité de l’IA en production

Établir des normes de qualité mesurables et des critères de mise en production pour les systèmes d’IA.

Les indicateurs peuvent inclure : taux de réussite des tâches, taux de réussite au premier passage, précision de la sélection des outils, précision du routage des agents, fidélité d’exécution du plan, taux de reprise après défaillance, précision des escalades vers un humain, précision des résultats métier, coût / latence par tâche réussie

Aider les équipes à répondre à une question fondamentale :

Ce système d’IA est-il suffisamment fiable, sûr, efficace et utile pour être exploité en production ?

Compétences et expérience que nous valorisons

Solide expérience avec :

• Python et génie logiciel
• Développement d’applications LLM
• Évaluation et expérimentation en IA/ML
• tests automatisés et analyse de données
• RAG, embeddings, recherche hybride et reclassement
• appel d’outils/de fonctions et sorties structurées
• orchestration d’agents et flux de travail multi-agents
• Observabilité et traçage de l’IA
• API et intégrations d’entreprise

Une expérience avec des plateformes ou des frameworks tels qu’Agents SDK, LangGraph/LangChain, Microsoft AI Foundry, Amazon Bedrock ou d’autres plateformes d’agents similaires est un atout.

Vous devez être à l’aise avec des techniques d’évaluation telles que les évaluations hors ligne/en ligne, les évaluateurs déterministes, les évaluateurs basés sur des modèles, l’évaluation humaine, les jeux de données synthétiques et les tests adverses.

Ce qui vous distinguera

Vous ne vous arrêtez pas lorsqu’un agent termine une tâche avec succès. Vous vous demandez :

• A-t-il choisi la bonne approche ?
• A-t-il utilisé les bons outils et les bonnes informations ?
• Peut-il réussir de manière constante ?
• Peut-il se rétablir en cas de défaillance ?
• L’ajout d’agents a-t-il amélioré le résultat ?
• Une architecture plus simple aurait-elle pu obtenir le même résultat ?
• Combien le résultat obtenu a-t-il coûté ?

Vous transformez ces questions en expériences mesurables qui aident les équipes d’ingénierie à créer de meilleurs systèmes d’IA.

Pourquoi ce poste est important

L’IA d’entreprise passe de systèmes qui répondent à des questions à des systèmes qui prennent des décisions et effectuent du travail.

Cela change la manière dont la qualité doit être mesurée.

La prochaine génération d’évaluation de l’IA doit mesurer :

Ce que le système a compris → ce qu’il a récupéré → ce qu’il a décidé → ce qu’il a fait → et si le résultat métier était correct.

Ce poste contribuera à établir la discipline d’ingénierie nécessaire pour rendre ces systèmes mesurables, fiables et prêts pour la production.

Qu'est-ce que ça vous apporte ?

Chez Dayforce, la diversité de nos talents est notre moteur. Nous sommes un employeur qui prône l'égalité des chances et nous valorisons chaque individu et ce qui le rend unique. Nous croyons que nos employés doivent être heureux, en santé, sereins et épanouis.

Nous encourageons les candidatures en fonction de leurs passions.

Dayforce favorise le développement personnel et professionnel. Nous offrons d'excellents programmes de congés, des initiatives de bien-être complètes et une reconnaissance de vos efforts grâce à une rémunération et des avantages sociaux compétitifs.

Engagés auprès de la communauté, notamment par le biais de journées de bénévolat et de notre organisme de bienfaisance, Dayforce Cares, nous vous offrons des occasions de vous épanouir tant professionnellement que personnellement. Notre priorité n'est pas seulement votre travail, mais aussi votre développement personnel.

Cette offre d'emploi est pour un poste vacant.

À propos des échelles salariales

Veuillez noter que l'échelle salariale mentionnée dans cette description de poste est fourni à titre indicatif. La rémunération finale proposée peut varier en fonction de divers facteurs, notamment les primes et/ou les incitatifs, ou encore l'expérience, les compétences, le budget et le lieu de résidence du candidat. Notre entreprise s'engage à offrir une rémunération juste, équitable et compétitive qui reflète la valeur ajoutée de chaque individu pour l'organisation.

La maîtrise de l'anglais est essentielle pour ce poste, car le titulaire interagira régulièrement avec des interlocuteurs, collègues, responsables et/ou clients anglophones à travers le monde. De plus, nos équipes de soutien, notamment les ressources humaines, sont principalement anglophones. Les employés doivent être capables de communiquer en anglais avec ces services afin de gérer efficacement leurs relations professionnelles. Compte tenu du volume important d'interactions avec ces interlocuteurs anglophones, inhérent à ce poste, il est impossible de réorganiser les activités de l'entreprise pour éviter cette exigence.

If you would like to view the job posting in English use the following link: https://jobs.dayforcehcm.com/mydayforce/alljobs