Référenceur / Référenceuse web (H/F)

Groupe Ayli; Paris; Sur place; EUR 70 000 - 95 000; Plein temps

Résumé du poste

Groupe Ayli recherche un Référenceur web IA pour intervenir sur une plateforme agentique au sein d’un environnement SOC orienté cybersécurité et IA générative. Vous concevrez, déployerez et opérerez les mécanismes d’observabilité, de fiabilité et de sécurité des agents IA, et vous intégrerez les outils SOC comme Splunk.

Le poste implique la coordination avec les équipes Cloud et Sécurité, le suivi des SLA/SLO et l’optimisation des coûts liés aux modèles et infrastructures IA.

Qualifications

• Maîtriser les concepts d’observabilité et de monitoring des systèmes IA et des agents
• Concevoir et opérer des mécanismes de traçabilité et de conformité pour des agents IA
• Évaluer et optimiser la fiabilité et la performance des workflows IA
• Gérer la sécurité et les accès dans des architectures IA et SOC

Responsabilités

• Définir et mettre en œuvre la stratégie d’observabilité de la plateforme agentique
• Mettre en place le monitoring des agents IA, workflows et chaînes d’orchestration
• Concevoir des dashboards et des métriques de performance et de qualité
• Assurer la traçabilité des interactions utilisateurs-IA-OUTILS et détecter les anomalies

Connaissances

Observabilité IA

Cybersécurité

IA générative

LangChain

LangGraph

Outils

Splunk

AWS Bedrock

RAG

Description du poste

Référenceur / Référenceuse web (H/F) 75 - Paris 1er Arrondissement

Offre n° 6361907
Référenceur / Référenceuse web (H/F)

Dans le cadre de l?industrialisation de solutions d?Intelligence Artificielle Générative au sein d?un environnement de cybersécurité, nous recherchons un Expert Observabilité IA & Agentic AI.Vous interviendrez au sein d?un environnement SOC sur des problématiques à la croisée de la cybersécurité, de l?IA générative, du Cloud et de l?observabilité.L?objectif du poste est de concevoir, implémenter et opérer les mécanismes permettant d?assurer la fiabilité, la sécurité, la performance, la qualité et la traçabilité des agents IA utilisés dans les opérations de cybersécurité.Vous contribuerez notamment à la mise en place d?une plateforme agentique industrialisée et à son intégration avec les outils du SOC, notamment Splunk.Vos principales responsabilités1. Observabilité des systèmes IADéfinir et mettre en ?uvre la stratégie d?observabilité de la plateforme agentique.Mettre en place le monitoring des agents IA, workflows et chaînes d?orchestration.Superviser les architectures basées sur LangChain / LangGraph.Mettre en place la collecte et la corrélation des métriques techniques, fonctionnelles et métier.Concevoir des dashboards permettant de suivre en temps réel les performances et la qualité des agents.Assurer la traçabilité des interactions entre les utilisateurs, les agents, les LLM et les différents outils.Mettre en place des mécanismes de détection des comportements anormaux ou inattendus.Identifier les hallucinations, dérives et dégradations de performance des modèles.2. AI Reliability EngineeringConcevoir et mettre en ?uvre des frameworks d?évaluation continue des agents IA.Définir les KPI de qualité, performance et fiabilité des agents.Mettre en place des mécanismes de suivi des SLA / SLO.Identifier les causes racines des défaillances des agents et des workflows.Optimiser continuellement la qualité et les performances des solutions IA.Suivre et optimiser les coûts d?utilisation des modèles et infrastructures.3. Sécurité des systèmes IAIdentifier et superviser les risques liés à l?utilisation de systèmes d?IA générative.Participer à la définition des mécanismes de gouvernance des agents IA.Détecter les comportements anormaux, malveillants ou dangereux des agents.Participer aux analyses de risques liées aux systèmes IA.Contrôler les accès, permissions et interactions entre les agents et les systèmes externes.Contribuer à la sécurisation des architectures RAG, LLM et Agentic AI.Mettre en place des mécanismes de traçabilité et d?audit des actions réalisées par les agents.4. Intégration avec le SOC et SplunkIntégrer les événements et logs des plateformes IA dans Splunk.Concevoir les dashboards d?exploitation et de supervision.Développer des alertes de détection spécifiques aux systèmes IA.Créer des corrélations entre les événements de cybersécurité et les événements générés par les agents IA.Exploiter les capacités SIEM/SOAR pour superviser les risques liés aux agents.Contribuer à la création de nouveaux use cases de détection.Produire les indicateurs nécessaires aux équipes SOC et aux équipes opérationnelles.Participer à l'amélioration continue des capacités de détection et de réponse.5. RUN & Amélioration continueAssurer le maintien en condition opérationnelle de la plateforme d?observabilité.Investiguer les incidents liés aux agents et aux composants IA.Analyser les dysfonctionnements et identifier les causes racines.Participer à la résolution des incidents de production.Optimiser les performances, la disponibilité et les coûts.Documenter les architectures, procédures et mécanismes de supervision.Participer à l'amélioration continue de la plateforme.Environnement techniqueIA Générative & Agentic AIArchitectures Agentic AILangChainLangGraphAWS BedrockAgents BedrockLLMRAGEmbeddingsBases de données vectoriellesMCPLangSmithLLM ObservabilityLLM EvaluationCybersécuritéEnvironnement SOCCERT / CSIRTIncident ResponseThreat HuntingMITRE ATT&CKSécurité des systèmes IAAI Risk / AI GovernanceSIEM / SOARSplunk / Splunk Enterprise SecuritySOARCortex XSOARCorrélation d'événementsDétection et alertingDéveloppement & DevOpsPython avancéAPIs RESTGitGitLab CI/CDInfrastructure as CodeTerraformCloudAWSAWS BedrockServices AWS liés à l'IA et à la sécurité

Type de contrat Profession libérale
Emploi non salarié

Expérience

• 0 An(s) Cette expérience est indispensable