Le cerveau défensif : pourquoi Claude + Foundation-Sec-8B + RAG

Un agent IA qui analyse des événements de sécurité ne vaut que ce que valent le modèle qui le sous-tend et le savoir auquel il peut accéder. Nous avons choisi les deux selon de vrais benchmarks — et appris un enseignement qui fait économiser beaucoup d'argent.

Le problème : tous les modèles ne sont pas bons en cyber

Il est facile de supposer que « le modèle le plus intelligent » est le meilleur en tout. En cyber, ce n'est pas vrai. L'analyse d'incidents exige une boucle d'itération : écrire une requête, lire les résultats, corriger, et réessayer. Certains modèles excellent à cela et d'autres s'effondrent — et ce n'est pas toujours le modèle le plus « puissant ».

Ce que nous avons comparé — des benchmarks, pas du battage médiatique

Nous nous sommes appuyés sur deux sources primaires : le CTI-REALM de Microsoft (50 tâches contre de vraies simulations d'attaque) et le CyberSOCEval de Meta/CrowdStrike (609 cas validés par des experts). Deux enseignements contre-intuitifs ont émergé :

• Claude domine sur le travail agentique — grâce à la boucle « itérer et affiner », où il a atteint 0,86–0,92 tandis que ses concurrents chutaient sous 0,50.
• Le mode raisonnement coûteux n'améliore pas l'analyse cyber — contrairement aux mathématiques et au code. Les modèles n'ont pas été entraînés à « réfléchir » à l'analyse de sécurité, donc payer pour du reasoning-high sur le triage est du gaspillage.

Ce que nous avons choisi — un routage intelligent, pas un modèle unique

Le routage économise de l'argent et préserve la confidentialité : l'essentiel du travail s'exécute sur des modèles gratuits/ouverts, et seuls les cas les plus ardus sont routés vers le Claude payant.

Et pourquoi le RAG — et non le fine-tuning

Le savoir cyber change chaque jour : nouvelles CVE, nouvelles techniques d'attaque, nouveaux IOC. On ne peut pas ré-entraîner un modèle là-dessus. La fondation est donc le RAG — nous intégrons les bases de connaissances publiques (MITRE ATT&CK, D3FEND, Sigma, flux de menaces) dans un magasin de vecteurs, et l'agent récupère la technique pertinente, la contre-mesure correspondante et la règle de détection en temps réel.

Le fine-tuning est réservé à seulement deux transformations étroites où le RAG atteint son plafond : générer des règles Sigma et projeter une technique sur ATT&CK — où un petit modèle ouvert ajusté bat même les modèles géants.

Les quatre ancres — et toutes sont légalement commercialisables

Nous avons délibérément choisi des sources ouvertes intégrables dans un produit payant : MITRE ATT&CK + D3FEND (technique↔contre-mesure), Sigma (règles de détection, licence DRL), et Atomic Red Team (MIT) comme générateur d'exemples. Nous avons veillé aux pièges de licence : certains jeux de données académiques ne sont autorisés que pour la recherche et ne peuvent être intégrés dans un produit — nous les tenons donc à part.

Confidentialité : un « mode privé » pour les clients sensibles

Les journaux d'une entreprise sont des données sensibles. Par défaut, tout tourne donc sur Workers AI (les données restent dans le locataire Cloudflare), et avant tout saut vers une API externe, il y a une étape de nettoyage des données personnelles (PII-scrubbing). Les clients les plus sensibles bénéficient d'un « mode privé » épinglé au Foundation-Sec-8B que nous hébergeons nous-mêmes — et les données ne quittent pas du tout notre périmètre.

Cet article décrit l'architecture IA et les considérations de sélection. Les chiffres des benchmarks sont exacts à la date de 2026 et devraient être vérifiés à la source. Il n'y a ici ni clés d'API, ni secrets, ni prompts internes.