Data scientist – Expert(e) en IA spécialisé(e) – N3

Bénin Digital; Montfaucon; Sur place; EUR 70 000 - 120 000; Plein temps

Résumé du poste

Bénin Digital recherche un Expert IA spécialisé dans l’entraînement, l’alignement et l’évaluation de modèles de langage afin de concevoir des systèmes souverains, ultra-spécialisés en cybersécurité, au sein de notre SOC.

Vous travaillerez en collaboration avec l’équipe R&D Cyber et l’équipe SOC sur des projets de fine-tuning, d’alignement et d’évaluation des modèles, avec une attention particulière à la sécurité et à la reproductibilité des benchmarks.

Qualifications

• Fine-tuning de modèles LLM open-source sur des données cybersécurité.
• Alignement et réduction des hallucinations via apprentissage par renforcement.
• Mise en place de formats de prompts et de conversations pour l’entraînement.
• Évaluation et benchmarking avec MMLU / GSM8K et autres frameworks internes.

Responsabilités

• Fine-tuning de modèles sur données de cybersécurité (logs, rapports CTI, playbooks).
• Alignement et limitation des hallucinations par RL pour des réponses précises et sans biais.
• Formatage et structuration des données et prompts pour l’entraînement.
• Établissement et suivi de pipelines d’évaluation comparatifs et benchmarks.

Connaissances

Fine-tuning de modèles

Structuration & Formatage

Alignement & Reinforcement Learning

Évaluation & Validation

Outils

Unsloth

Axolotl

TRL (Transformer Reinforcement Learning)

ChatML

Alpaca templates

Hugging Face Hub

Description du poste

Contexte

Objectif global

Développer IA au sein du SOC 2

Au sein de notre SOC, nous intégrons des technologies d’Intelligence Artificielle Générative pour automatiser l’analyse de menaces, contextualiser les alertes de sécurité et assister nos analystes. Nous recherchons un(e) Expert(e) en IA spécialisé(e) dans l’entraînement, l’alignement et l’évaluation de Modèles de Langage (LLM/SLM) afin de concevoir des modèles souverains, ultra‑spécialisés en cybersécurité.

En collaboration directe avec l’équipe R&D Cyber et l’équipe SOC, le/la consultant(e) aura pour missions de :

Missions

• Fine‑tuning de modèles : Adapter et spécialiser des LLM open‑source (Llama, Mistral, Qwen…) sur des données de cybersécurité (logs, rapports CTI, playbooks).
• Alignement et limitation des hallucinations : Mettre en œuvre des techniques d’apprentissage par renforcement pour s’assurer que les modèles génèrent des réponses précises, sécurisées et sans biais/hallucinations (crucial pour le SOC).
• Formatage et structuration des données : Définir et appliquer les meilleurs formats de prompt et de conversation pour l’entraînement.
• Évaluation et Benchmarking : Mettre en place des pipelines d’évaluation rigoureux pour mesurer la performance des modèles spécialisés « Cyber » par rapport aux standards du marché.

Compétences Techniques

• fine tuning model – Confirmé – Impératif
• Structuration & Formatage de Données – Confirmé – Impératif
• Alignement & Reinforcement Learning – Confirmé – Impératif
• Évaluation & Validation (MMLU / Benchmarking) – Confirmé – Impératif

Connaissances Linguistiques

• Anglais Professionnel (Impératif)
• Français Courant (Impératif)
• PROFIL RECHERCHÉ : EXPERTISE TECHNIQUE IA (Hard Skills) Le/la candidat(e) doit impérativement maîtriser les technologies et concepts suivants :
• Fine‑Tuning de Modèles (PEFT)

Maîtrise avancée des techniques d’adaptation à faible rang : LoRA et QLoRA.

Pratique courante d’au moins un framework de fine‑tuning rapide : Unsloth, Axolotl, ou TRL (Transformer Reinforcement Learning d’Hugging Face).

• Structuration & Formatage de Données

Expertise dans l’utilisation des formats de templates de discussion, notamment ChatML et Alpaca, pour structurer les datasets d’entraînement textuels.

• Alignement & Reinforcement Learning (Contrôle des Hallucinations)

Solide expérience dans l’optimisation des réponses (Constraint‑based generation & Alignment) via les méthodes : DPO (Direct Preference Optimization), GRPO (Group Relative Policy Optimization) et PPO (Proximal Policy Optimization).

Maîtrise des frameworks d’alignement : TRL, verl ou OpenRLHF.

• Évaluation & Validation (MMLU / Benchmarking)

Capacité à concevoir des protocoles d’évaluation rigoureux.

Utilisation de benchmarks standards (ex: MMLU, GSM8K) et mise en place de frameworks d’évaluation comparatifs internes (méthodologies de type Evaluation Arena / LMSYS, LLM-as-a-judge).

SKILLS SECONDAIRES & APPRÉCIÉS (Nice To Have)

Sensibilité Cybersécurité : Expérience préalable ou fort intérêt pour les problématiques SOC (MITRE ATT&CK, analyse de logs, détection d’intrusions).

Stack MLOps : Connaissance de plateformes comme Hugging Face Hub, vLLM, Ollama ou Triton pour le déploiement et l’inférence optimisée.

Développement : Excellente maîtrise de Python et de PyTorch.

Soft Skills

Rigueur scientifique : Rigueur absolue sur la qualité des données et la reproductibilité des benchmarks.

Communication : Capacité à vulgariser les concepts IA complexes auprès de profils purement cybersécurité (Analystes SOC, RSSI).

Autonomie : Capacité à délivrer dans un environnement R&D agile.

Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de la Grande distribution & e-commerce, et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Benin Digital accompagne ses consultants en leur proposant des missions évolutives et des formations. Collaborer avec Bénin Digital c’est misé sur une approche personnalisée de vos besoins et une gestion de votre carrière à travers des missions diversifiées en Afrique et en Europe