Ingénieur QA Projet IA H / F

Team.is; Cestas; Sur place; EUR 45 000 - 60 000; Plein temps

Résumé du poste

Une entreprise innovante en Nouvelle-Aquitaine recherche un(e) Ingénieur(e) QA pour assistant IA. Vous serez responsable de la conception de stratégies de test pour des solutions connectées. Des compétences solides en programmation et en évaluation de modèles IA sont requises. Vous travaillerez dans un environnement multiculturel et bénéficierez de nombreux avantages tels qu'un remboursement de transport et une mutuelle d'entreprise.

Prestations

Environnement international

Locaux neufs sur un site boisé

CSE attractif avec des subventions

Accès à un complexe sportif

Restaurant d'entreprise

Remboursement de 50% des transports

Mutuelle prise en charge à 50%

Qualifications

• Minimum 5 ans d'expérience dans le développement logiciel, avec une expérience en stratégie de tests sur des projets IA.
• Capacité à analyser des ensembles de données complexes et à interpréter les résultats de manière critique.
• Excellentes compétences en communication écrite et orale.

Responsabilités

• Concevoir des stratégies de test pour les assistants IA.
• Définir et appliquer des méthodes d’évaluation pour les modèles LLM.
• Développer des scénarios de tests automatisés et manuels.

Connaissances

Maîtrise des langages de programmation

Connaissance des frameworks d'IA

Expérience avec des outils d'analyse de données

Compétences analytiques

Compétences en communication

Sensibilité à l'éthique de l'IA

Formation

Diplôme en informatique, ingénierie ou domaine connexe

Outils

Python

Java

Kotlin

MLFlow

Langchain

TensorFlow

Pandas

SQL

PowerBI

Description du poste

En postulant à cette offre, vous aurez l'opportunité de rejoindre une entreprise prometteuse avec une forte diversité de projets. Vous intégrez un écosystème dynamique et innovant, vous travaillerez dans un environnement multiculturel, dans un cadre de travail à couper le souffle, des locaux refaits à neuf et une stack technique de pointe !

L'offre du groupe évolue vers l'industrie 4.0 avec la passion de l'innovation technologique. Cette pionnière de l'IoT a toujours mis l'accent sur la R&D. Aujourd'hui, ils embarquent leurs clients du monde entier vers des solutions connectées adossées au cloud et à des machines intelligentes.

Dans un cadre technologique et technique, ils recherchent un(e) Ingénieur(e) QA pour assistant IA H / F.

Vos missions si vous l'acceptez

• Concevoir et mettre en oeuvre des stratégies de test innovantes pour nos assistants IA, intégrant des pratiques innovantes et des outils adaptés.
• Définir et appliquer des méthodes d'évaluation spécifiques aux modèles LLM : détection d'hallucinations, robustesse des prompts, évaluation de la cohérence et de la fidélité des réponses.
• Effectuer une veille technologique active pour identifier les nouveaux outils et méthodes qui pourraient optimiser nos processus.
• Développer des scénarios de tests automatisés et manuels, en tenant compte des divers cas d'utilisation et des caractéristiques des utilisateurs.
• Analyser les résultats des tests de manière structurée et claire, et formuler des recommandations basées sur des données probantes.
• Diffuser les pratiques et connaissances.

Avantages

Il en faut plus pour vous convaincre ?

Voici ce que l'entreprise propose

• Travailler dans un environnement international, multiculturel (32 nationalités) et agile
• Des locaux refaits à neuf récemment sur un site boisé de 12 hectares
• Un CSE attractif proposant des subventions pour les voyages, de la location de matériel (randonnée, surf, réception), activités culturelles et sportives, une médiathèque
• Mise à disposition du complexe sportif (badminton, court de tennis, piscine)
• Un restaurant d'entreprise
• Un remboursement de 50% des transports en commun
• Mutuelle d'entreprise prise en charge à 50%

Et vous ?

• Formation : Diplôme en informatique, en ingénierie, en science des données ou dans un domaine connexe.
• Expérience : Minimum 5 ans d'expérience dans le monde du développement logiciel, dont une expérience significative dans la définition et mise en oeuvre d'une stratégie de tests sur un projet de développement faisant intervenir les technologies IA LLM, Machine Learning ou données.
• Compétences techniques :
• Maîtrise des langages de programmation (tels que Python, Java ou Kotlin)
• Connaissance des frameworks d'IA (MLFlow, Langchain, Langgraph, TensorFlow)
• Connaissance des outils d'évaluation de LLM (par exemple : TruLens, PromptLayer, DeepEval, LLM-as-a-Judge)
• Expérience avec des outils d'analyse de données et de visualisation (Pandas, SQL, PowerBI)
• Compétences analytiques : Capacité à analyser des ensembles de données complexes et à interpréter les résultats de manière critique.
• Compétences en communication : Excellentes compétences en communication écrite et orale, avec la capacité de présenter des résultats techniques à des publics non techniques.
• Sensibilité à l'éthique de l'IA : Compréhension des enjeux éthiques liés à l'IA, y compris la gestion des biais et la transparence des modèles.

Atouts

• Expérience dans la validation de modèles d'IA ou de machine learning.
• Familiarité avec les indicateurs de performance (précision, rappel, fidélité) appliqués à l'IA.
• Expertise dans la collecte et l'analyse de golden datasets.
• Connaissance des méthodologies de test logiciel et des bonnes pratiques en matière de validation.