[FBO] Lead AI / RAG Engineer – Python, SharePoint & QA (IT) / Freelance

iSupplier; Montreuil-sur-Mer; On-site; EUR 70,000 - 110,000; Full time

Job summary

Free-Work recherche un développeur Python IA & Connectivité SharePoint pour concevoir un chatbot IA centralisé et l’intégrer à SharePoint Online et On-Premise.

Vous travaillerez sur l’orchestration RAG, l’ingestion et l’indexation, avec des tests QA poussés et du tooling Go, le tout déployé via CI/CD dans un contexte bancaire.

Qualifications

• Développement Python en production avec au moins 3 ans d'expérience.
• Expérience Go sur des services haute performance.
• Maîtrise des frameworks LLM: Pydantic AI, LangChain, LlamaIndex et patterns RAG.
• Intégration SharePoint Online et/ou On-Premise (API Graph, REST).
• Connaissance Azure AD et OAuth2.
• Pratiques de testing: unitaires, intégration, E2E; sécurité/banque.

Responsibilities

• Concevoir l'architecture du chatbot et l'orchestration.
• Développer les composants IA: ingestion, embedding, retrieval, génération.
• Intégrer les modèles LLM avec SharePoint et assurer la sécurité des données.
• Mettre en place tests QA et scénarios d’intégration; assurer la traçabilité.
• Conduire les pipelines CI/CD et les gates de qualité.
• Gérer le multi-langues FR/EN et les exigences de conformité bancaire.

Skills

Python production

Go programming

LangChain

Pydantic AI

Langfuse

SharePoint intégration

Azure AD

Tools

Milvus

Qdrant

pgvector

FastAPI

GitLab CI

Job description

Développeur Python IA & Connectivité SharePoint

Mission

• Concevoir et développer un chatbot IA centralisé à l'échelle de la banque, intégrant SharePoint comme source de données principale
• Garantir la qualité, la fiabilité et la couverture de tests du chatbot via une stratégie QA rigoureuse

Responsabilités

Développement Python / Go / IA

• Concevoir l'architecture du chatbot (orchestration, RAG, gestion du contexte, multi-turn)
• Développer les composants IA : ingestion, embedding, retrieval, génération (LLM on-premise ou API)
• Intégrer les modèles LLM avec les sources de connaissance SharePoint
• Optimiser les performances (latence, throughput, qualité des réponses)
• Gestion des prompts, templates, et évaluation des réponses (prompt engineering)
• Développement d'outils et services en Go (performance-critical, sidecar utilities)

Connectivité SharePoint

• Intégration avec SharePoint Online / On-Premise via API Graph ou SharePoint REST API
• Authentification : OAuth2, Azure AD, certificats app-only, managed identities
• Crawling et indexation des documents, pages, listes, et bibliothèques SharePoint
• Gestion des permissions et de la sécurité au niveau des sites/documents (respect des ACLs dans le retrieval)
• Synchronisation et rafraîchissement incrémental du contenu SharePoint
• Gestion des métadonnées, types de contenu, et structures de sites complexes (multi-sites, multi-tenants)
• Gestion des quotas API Graph (throttling, retry, pagination)

QA / Testing — Focus Principal

• Concevoir et implémenter la stratégie de test end-to-end du chatbot
• Tests unitaires (pytest, Go testing) — couverture des composants IA, connecteurs SharePoint, orchestration
• Tests d'intégration : SharePoint API mocking, vector store, LLM endpoints
• Tests de contrat API (schema validation, Pydantic AI schema enforcement)
• Tests de non-régression sur les réponses IA :
• Golden datasets et évaluation automatique des réponses
• Scoring de qualité (relevance, faithfulness, hallucination detection)
• A/B testing des prompts et des versions de modèles
• Tests de charge et de performance (locust / k6) — simulation multi-utilisateurs concurrents
• Tests de sécurité :
• Injection de prompts (prompt injection, jailbreak)
• Fuite de données (data exfiltration, cross-tenant leakage)
• Accès non autorisés (bypass d'ACLs SharePoint)
• Tests de robustesse LLM : edge cases, context overflow, model fallback, timeout handling
• Observabilité de la qualité via Langfuse :
• Tracing des chaînes RAG (retrieval → génération → réponse)
• Évaluation continue des réponses en production (drift detection, feedback loops)
• Dashboards de qualité (latence, token usage, user satisfaction, error rates)
• Alerting sur dégradation de qualité
• Mise en place de pipelines CI/CD avec gates de qualité (tests, linting, évaluation IA)
• Gestion des environnements de test (dev / staging / prod) avec données représentatives

Architecture & Intégration

• Concevoir le pipeline de données : SharePoint → extraction → chunking → embedding → vector store
• Exposer le chatbot via API REST (FastAPI) et interface utilisateur
• Intégration avec les systèmes internes (SSO, logging, audit, monitoring)
• Gestion multi-langues (FR/EN)

Stack Technique

• Langages : Python 3.11+, Go
• IA / LLM : Pydantic AI, LangChain / LlamaIndex, vLLM, Hugging Face, OpenAI-compatible APIs
• Observabilité IA / QA : Langfuse (tracing, évaluation, monitoring)
• Vector Store : Milvus / Qdrant / pgvector
• SharePoint : Microsoft Graph API, SharePoint REST API, MSAL
• API : FastAPI, Pydantic
• Testing : pytest, pytest-asyncio, Go testing, locust, k6
• CI/CD : GitLab CI, Tekton
• Observabilité infra : Prometheus, Grafana, OpenTelemetry
• Conteneurisation : Docker, Kubernetes / OpenShift

Compétences Requises

• Développement Python en production (min. 3 ans) avec solides bases en architecture logicielle
• Expérience en Go (services performants, CLI tools, sidecar components)
• Expérience avec les frameworks LLM : Pydantic AI, LangChain, LlamaIndex et patterns RAG
• Expérience avec Langfuse (ou équivalent) pour le tracing et l'évaluation des chaînes IA
• Expérience d'intégration avec SharePoint Online et/ou SharePoint On-Premise (API Graph, REST, CSOM)
• Connaissance d'Azure AD : OAuth2, app registrations, permissions déléguées vs application
• Maîtrise des pratiques de testing : unitaires, intégration, E2E, contract, charge
• Expérience avec les vector stores et les pipelines d'embedding
• CI/CD et automatisation des tests — culture qualité forte
• Compréhension des enjeux de sécurité en environnement bancaire (confidentialité, audit, traçabilité)
• Bonus : expérience avec Microsoft Graph webhook/Change API, Azure Functions