AI Productivity Engineer Intern

Yousign; Paris; Hybride; EUR 40 000 - 60 000; Plein temps

Résumé du poste

Une scale-up dynamique recherche un(e) AI Productivity Engineer Intern à Paris, pour un stage de 6 mois. Vous participerez à la mise en œuvre d’un processus d’évaluation pour agents d’IA, avec des responsabilités en développement, conception et déploiement. Les candidats doivent avoir une formation en ingénierie et de solides compétences en Python. Un environnement de travail stimulant et la possibilité de télétravail sont offerts.

Prestations

Environnement de travail bienveillant

Télétravail occasionnel

Évènements d’équipes réguliers

Qualifications

• Bases solides en développement (Python ou TypeScript).
• Intérêt marqué pour l’IA générative.
• Expérience avec des LLMs est un plus.

Responsabilités

• Participer à la mise en œuvre d’un processus d’évaluation.
• Développer un pipeline d’évaluation pour agents IA.
• Concevoir des jeux de tests et des tableaux de bord.

Connaissances

Développement Python

Métriques

Rigueur dans la gestion des données

Anglais courant

Formation

Étudiant(e) en école d’ingénieur

Outils

LangSmith

OpenAI Evals

Description du poste

Le poste :

Yousign recherche, à partir de janvier 2026, un(e) AI Productivity Engineer Intern, pour rejoindre son équipe AI Productivity, directement sous la supervision du AI Productivity Lead Engineer.

Durant ce stage de 6 mois, tu participeras à la mise en œuvre d’un processus d’évaluation robuste et industrialisé pour nos agents/assistants d’IA de productivité (Dust). Ton périmètre couvrira :

• la définition des critères de qualité,
• la constitution de jeux de tests,
• l’architecture, le développement, le déploiement et l’exploitation continue d’un pipeline d’évaluation.

L’objectif est d’améliorer la qualité, la fiabilité et la mesurabilité des agents utilisés par les équipes, grâce à des indicateurs de performance suivis.

Missions principales :

• Benchmark & étude : Revue des approches d’évaluation (LLM-as-Judge, golden sets, pairwise, human-in-the-loop) ; benchmark d’outils (Dust, LangSmith, OpenAI Evals, plateforme custom) ; définition des critères qualité par type d’agent (exactitude, robustesse, sécurité, coût, latence).
• Conception : Design d’un pipeline d’évaluation reproductible (datasets, orchestration, stockage des runs, traçabilité) ; spécification de l’intégration aux agents Dust et au CI/CD ; schéma des tableaux de bord et alertes (adoption, régressions, SLO qualité).
• Développement : Implémentation d’une plateforme d’évaluation (Python/TypeScript) et des premiers jeux de tests ; intégration LLM-as-Judge et métriques (accuracy, relevance, safety, cost, latency) ; automatisation des campagnes hebdomadaires et versioning des résultats.
• Déploiement : Déploiement du pipeline, des tableaux de bord et des alertes en environnement de production interne ; intégration au workflow des équipes (documentation, formation, runbooks) ; passage de relais pour l’exploitation continue.

Profil recherché :

• Étudiant(e) en école d’ingénieur, en recherche d’un stage de fin d’études.

Compétences techniques (Hard skills) :

Must-have :

• Bases solides en développement (Python ou TypeScript) et en métriques.
• Rigueur dans la gestion des données (datasets, annotation, reproductibilité, versioning).
• Intérêt marqué pour l’IA générative et l’évaluation de la qualité.
• Anglais courant (documentation technique, outils).

Nice-to-have :

• Expérience avec des LLMs (Claude, GPT, etc.) et évaluation automatisée.
• Connaissance d’outils d’évaluation (LangSmith, OpenAI Evals, Langfuse) ou d’observabilité.
• Pratique du CI/CD, des tableaux de bord et de l’alerting.

Qualités personnelles (Soft skills) :

• Curiosité et veille technologique – Intérêt pour l’innovation en IA.
• Pédagogie – Capacité à vulgariser et à former.
• Adaptabilité – Environnement en évolution rapide.
• Esprit d’initiative – Proactivité dans l’identification d’opportunités.

Ce que trouveras chez Yousign :

• Une scale-up dynamique qui place les personnes avant tout
• Un style de management qui favorise l’autonomie et la cohésion, au travers d’objectifs communs (OKR)
• Le meilleur de la culture et des méthodes de travail
• Un environnement de travail bienveillant et stimulant
• Des évènements d’équipes réguliers
• La possibilité de travailler depuis nos très jolis bureaux à Paris juste à côté de la place de Clichy
• Télétravail occasionnel (rythme à adapter avec ton équipe)

Equal Opportunity at Yousign

Chez Yousign, nous célébrons l’unicité et veillons à ce que chaque membre de l’équipe ait les mêmes opportunités de contribuer. Nous offrons des chances égales à tous et maintenons des processus transparents et équitables.

Rejoignez-nous chez Yousign, où nos différences nourrissent la créativité et la force — embarquons ensemble dans cette aventure incroyable !