Tech Lead IA Générative et Python H/F

Aleysia; Paris; Hybrid; EUR 80,000 - 120,000; Full time

Benefits offered by this job

Télétravail 2 jours/semaine

Job summary

Aleysia recherche un Développeur IA Senior Python pour accompagner un client dans l'évolution et la fiabilisation des solutions IA génératives. Vous concevrez des chaînes d'extraction d'informations et industrialiserez les approches validées.

Vous évaluerez et comparerez les modèles LLM, gérerez l'observabilité et travaillerez avec les équipes techniques et métiers pour augmenter les compétences autour des méthodes d'évaluation et des coûts/latences.

Qualifications

• 5 ans d'expérience en développement exigés.
• Au moins 2 ans sur des produits LLM en production.
• Maîtrise avancée de Python et développement testé.

Responsibilities

• Concevoir des chaînes d'extraction d'informations structurées à partir de textes libres, avec des approches adaptées (Function Calling, sorties structurées, validation et réparation des résultats).
• Construire et maintenir des cas d'évaluation, mener des expérimentations et comparer prompts et modèles selon des critères mesurables.
• Évaluer la fiabilité des juges LLM et identifier biais et variabilité entre exécutions.
• Comparer et sélectionner les modèles en arbitrant qualité, coût et latence dans un environnement souverain (Mistral, AWS Bedrock UE).
• Industrialiser les approches validées pour leur mise en production: code testé, observabilité, gestion des pannes et suivi des dérives.
• Transmettre ton expertise et faire monter l'équipe en compétences sur les méthodes d'évaluation.

Skills

Python avancé

5+ ans d'expérience en développement

2 ans sur LLM en production

Évaluation des LLM

Extraction d'informations structurées

Comparaison d'approches

Transmission des connaissances

Tools

AWS Bedrock

Job description

Dans le cadre d'un projet d'évolution et de fiabilisation de solutions basées sur l'intelligence artificielle générative, nous recherchons un Développeur IA Senior Python H/F afin d'accompagner l'un de nos clients sur des enjeux d'évaluation, d'optimisation et d'industrialisation des modèles de langage (LLM).

Tu interviendras au sein d'une équipe et d'un projet déjà constitués, avec pour objectif d'apporter ton expertise technique, d'améliorer les usages existants des LLM et de faire évoluer l'architecture sur la base de résultats mesurables.

Quelques éléments pour mieux comprendre l'environnement :

• Secteur d'activité : Juridique et services aux professionnels
• Organisation : Intégration au sein d'une équipe et d'un projet déjà constitués, en lien avec les équipes techniques et métiers.
• Enjeux : Fiabiliser les usages actuels des LLM, améliorer les méthodes d'évaluation, optimiser le choix des modèles et faire évoluer l'architecture existante.

Ce que tu feras concrètement

• Concevoir des chaînes d'extraction d'informations structurées à partir de textes libres, en définissant les approches adaptées : Function Calling, sorties structurées, validation et réparation des résultats.
• Construire et maintenir des jeux de cas d'évaluation, mener des expérimentations et comparer les prompts, les modèles et les différentes méthodes à partir de critères mesurables.
• Évaluer la fiabilité des juges LLM (LLM-as-a-Judge) en comparant leurs résultats avec des évaluations humaines et en identifiant leurs biais et leur variabilité.
• Comparer et sélectionner les modèles en arbitrant entre qualité, coût et latence, dans un environnement souverain (Mistral, AWS Bedrock en région UE).
• Industrialiser les approches validées pour leur mise en production : code testé, observabilité, gestion des pannes et suivi des dérives.
• Transmettre ton expertise et expliquer tes choix techniques aux équipes et aux interlocuteurs métiers afin de faire monter l'équipe en compétences sur les méthodes d'évaluation.

Ton environnement

• Outils et plateformes : AWS Bedrock.
• Méthodologies : Expérimentation, évaluation comparative, tests et industrialisation des solutions IA.

Le profil que nous recherchons

• Tu justifies d'au moins 5 ans d'expérience en développement, dont au moins 2 ans sur des produits LLM en production.
• Tu maîtrises Python avancé et tu es à l'aise avec le développement de code testé.
• Tu as une expérience concrète de l'évaluation des LLM : constitution de jeux de cas, définition de métriques, LLM-as-a-Judge, analyse des biais et de la variance entre exécutions.
• Tu maîtrises les mécanismes d'extraction d'informations structurées depuis du texte libre : sorties structurées, Function Calling et validation de schémas.
• Tu es capable de comparer plusieurs approches, de prendre des décisions techniques à partir de résultats mesurables et de les expliquer simplement.
• Tu sais accompagner une équipe et transmettre tes connaissances.

Informations complémentaires

• Localisation : Paris
• Télétravail : 2 jours
• Contrat : FREE ou CDI/ CDIC

Pourquoi rejoindre Aleysia ?

Des missions choisies pour leur cohérence avec ton expertise et tes ambitions.

Une communauté favorisant le partage d'expérience et la montée en compétences.

Un accompagnement personnalisé pour construire ton parcours professionnel.

Un environnement où proximité, exigence et bienveillance avancent ensemble.