Ingénieur tests automaticien en IA (H/F)

LECTRA; Cestas; Sur place; EUR 40 000 - 65 000; Plein temps

Résumé du poste

Une entreprise technologique recherche un Ingénieur tests automaticien en IA. Le candidat devra concevoir des stratégies de test pour des assistants IA, en intégrant les dernières innovations. Une expérience de 5 ans dans le développement logiciel et une maîtrise de Python ou Java sont requises. Ce poste propose un CDI avec un salaire brut annuel entre 40,000 et 65,000 Euros, dans un environnement dynamique en Nouvelle-Aquitaine, sans déplacements.

Prestations

Intéressement / participation

Restauration

CSE

Ordinateur portable

Plan d'épargne retraite d'entreprise

Qualifications

• Minimum 5 ans d'expérience dans le développement logiciel.
• Expérience significative en stratégie de tests sur projets IA LLM.
• Compétences en analyse de données complexes.

Responsabilités

• Concevoir des stratégies de test pour les assistants IA.
• Définir des méthodes d'évaluation pour les modèles LLM.
• Développer des scénarios de tests automatisés et manuels.
• Analyser les résultats de tests et formuler des recommandations.

Connaissances

Développement logiciel

Analyse de données

Communication écrite et orale

Curiosité

Formation

Diplôme en informatique, ingénierie ou science des données

Outils

Python

Java

Kotlin

MLFlow

Langchain

TensorFlow

Pandas

SQL

PowerBI

Description du poste

Offre n° 201JGYC
Ingénieur tests automaticien en IA (H/F)

Actualisé le 09 décembre 2025
Employeur handi-engagé

Nous sommes à la recherche de notre nouvel(le) Ingénieur(e) senior d'automatisation de tests, spécialisé dans la gestion de la qualité d'assistants s'appuyant sur l'Intelligence Artificielle, tels que des applications RAG (Retrieval-Augmented Generation), des chatbots basés sur des LLMs (Large Language Models), et d'autres solutions conversationnelles avancées. Nos équipes de R&D sont engagées dans la création d'assistants IA capables de traiter une variété de contenus, allant des données métiers aux documents d'entreprise pour simplifier l'utilisation de nos solutions à nos clients. Nos applications doivent évoluer avec les besoins de nos utilisateurs, ce qui nous amène à adopter une architecture flexible pour changer facilement de modèles de langage (LLM) sous-jacents. Dans cet environnement dynamique, nous valorisons l'exploration, la créativité et l'innovation. Vous serez amené à travailler au sein d'une équipe agile, où votre capacité à innover et à faire de la veille technologique sera essentielle. Dans ce rôle, vous serez responsable de la mise en œuvre de méthodes de testing adaptées, tout en garantissant que nos solutions répondent aux standards de qualité. Pour réussir dans ce poste, vous devrez faire preuve de curiosité et d'une volonté d'explorer de nouveaux outils et pratiques. Votre capacité à structurer l'analyse des résultats et à prendre des décisions sera essentielle pour mener à bien vos missions. Vous devrez également apprécier le travail collaboratif et être disposé à partager vos connaissances et à apprendre de vos collègues.

Missions

• Concevoir et mettre en œuvre des stratégies de test innovantes pour nos assistants IA, intégrant des pratiques innovantes et des outils adaptés.
• Définir et appliquer des méthodes d'évaluation spécifiques aux modèles LLM : détection d'hallucinations, robustesse des prompts, évaluation de la cohérence et de la fidélité des réponses.
• Effectuer une veille technologique active pour identifier les nouveaux outils et méthodes qui pourraient optimiser nos processus.
• Développer des scénarios de tests automatisés et manuels, en tenant compte des divers cas d'utilisation et des caractéristiques des utilisateurs.
• Analyser les résultats des tests de manière structurée et claire, et formuler des recommandations basées sur des données probantes.
• Diffuser les pratiques et connaissances.

Compétences requises

• Formation : Diplôme en informatique, en ingénierie, en science des données ou dans un domaine connexe.
• Expérience : Minimum 5 ans d'expérience dans le monde du développement logiciel, dont une expérience significative dans la définition et mise en œuvre d'une stratégie de tests sur un projet de développement faisant intervenir les technologies IA LLM, Machine Learning ou données.
• Compétences techniques : Maîtrise des langages de programmation (Python, Java ou Kotlin), connaissance des frameworks d'IA (MLFlow, Langchain, Langgraph, TensorFlow), connaissance des outils d'évaluation de LLM (TruLens, PromptLayer, DeepEval, LLM-as-a-Judge), expérience avec des outils d'analyse de données et de visualisation (Pandas, SQL, PowerBI).
• Compétences analytiques : Capacité à analyser des ensembles de données complexes et à interpréter les résultats de manière critique.
• Compétences en communication : Excellentes compétences en communication écrite et orale, avec la capacité de présenter des résultats techniques à des publics non techniques.
• Sensibilité à l'éthique de l'IA : Compréhension des enjeux éthiques liés à l'IA, y compris la gestion des biais et la transparence des modèles.
• Atouts : Expérience dans la validation de modèles d'IA ou de machine learning, familiarité avec les indicateurs de performance (précision, rappel, fidélité) appliqués à l'IA, expertise dans la collecte et l'analyse de golden datasets.

Type de contrat

CDI

Contrat travail

Durée du travail 35H/semaine; Travail en journée

Salaire

• Salaire brut : Annuel de 40,000 à 65,000 Euros sur 12 mois
• Intéressement / participation
• Restauration
• CSE
• Ordinateur portable
• Plan d'épargne retraite d'entreprise

Déplacements

Jamais

Profil souhaité

• 1 An(s) - validation modèles IA Cette expérience est indispensable
• Bac+5 et plus ou équivalents Architecture système information
• Bac+3, Bac+4 ou équivalents Architecture système information
• Anglais Cette langue est indispensable

Savoir-être professionnels

• Faire preuve de curiosité, d'ouverture d'esprit
• Inspirer, donner du sens
• Etre force de proposition

Informations complémentaires

• Secteur d'activité : Fabrication de machines pour les industries textiles