Das Verteidigungsgehirn: Warum Claude + Foundation-Sec-8B + RAG
Ein KI-Agent, der Sicherheitsereignisse analysiert, ist nur so gut wie das Modell dahinter und das Wissen, auf das er zugreifen kann. Wir haben beides nach echten Benchmarks ausgewählt — und dabei eine Erkenntnis gewonnen, die viel Geld spart.
Das Problem: Nicht jedes Modell ist gut in Cyber
Es liegt nahe anzunehmen, dass „das intelligenteste Modell" in allem am besten ist. In Cyber stimmt das nicht. Die Vorfallanalyse erfordert eine Iterationsschleife: eine Abfrage schreiben, die Ergebnisse lesen, korrigieren und erneut versuchen. Einige Modelle glänzen dabei und einige fallen auseinander — und es ist nicht immer das „stärkste" Modell.
Was wir verglichen haben — Benchmarks, nicht Hype
Wir stützten uns auf zwei Primärquellen: Microsofts CTI-REALM (50 Aufgaben gegen reale Angriffssimulationen) und Meta/CrowdStrikes CyberSOCEval (609 von Experten validierte Fälle). Zwei kontraintuitive Erkenntnisse traten zutage:
- Claude führt bei agentischer Arbeit — dank der Iterieren-und-Verfeinern-Schleife, bei der es 0,86–0,92 erreichte, während Wettbewerber unter 0,50 fielen.
- Der teure Reasoning-Modus verbessert die Cyber-Analyse nicht — im Gegensatz zu Mathematik und Code. Modelle wurden nicht darauf trainiert, über Sicherheitsanalyse „nachzudenken", sodass das Bezahlen für Reasoning-High bei der Triage Verschwendung ist.
Was wir gewählt haben — intelligentes Routing, nicht ein einzelnes Modell
| Modell | Rolle | Warum |
|---|---|---|
| Claude (Sonnet/Opus) | Agentische Triage + Verfassen von Vorfallberichten | Platz 1–3 bei CTI-REALM |
| Foundation-Sec-8B (Cisco) | Der günstige und private Worker: CVE→CWE, ATT&CK-Fragen | ~70B-Qualität bei 8B-Größe, läuft auf unserer Infrastruktur |
| Workers AI (am Edge) | Embeddings + Standard-Triage | Kostenlos, bleibt innerhalb des Cloudflare-Mandanten |
Routing spart Geld und wahrt die Privatsphäre: Der Großteil der Arbeit läuft auf kostenlosen/offenen Modellen, und nur die schwierigsten Fälle werden an das kostenpflichtige Claude geroutet.
Und warum RAG — und nicht Fine-Tuning
Cyber-Wissen ändert sich jeden Tag: neue CVEs, neue Angriffstechniken, neue IOCs. Man kann ein Modell nicht darauf neu trainieren. Deshalb ist das Fundament RAG — wir betten die öffentlichen Wissensbasen (MITRE ATT&CK, D3FEND, Sigma, Threat-Feeds) in einen Vektorspeicher ein, und der Agent ruft die relevante Technik, die passende Gegenmaßnahme und die Erkennungsregel in Echtzeit ab.
Fine-Tuning ist nur zwei engen Transformationen vorbehalten, bei denen RAG an seine Grenze stößt: Sigma-Regeln generieren und eine Technik auf ATT&CK abbilden — wo ein kleines, feinabgestimmtes offenes Modell selbst die riesigen Modelle schlägt.
Die vier Anker — und alle sind kommerziell legal
Wir haben bewusst offene Quellen gewählt, die in ein kostenpflichtiges Produkt eingebettet werden dürfen: MITRE ATT&CK + D3FEND (Technik↔Gegenmaßnahme), Sigma (Erkennungsregeln, DRL-Lizenz) und Atomic Red Team (MIT) als Beispielgenerator. Wir haben auf Lizenz-Fallstricke geachtet: Manche akademischen Datensätze sind nur für die Forschung erlaubt und dürfen nicht in ein Produkt eingebettet werden — deshalb halten wir sie getrennt.
Datenschutz: ein „privater Modus" für sensible Kunden
Die Logs eines Unternehmens sind sensible Daten. Deshalb ist die Voreinstellung, auf Workers AI zu laufen (die Daten bleiben innerhalb des Cloudflare-Mandanten), und vor jedem Sprung zu einer externen API gibt es einen PII-Bereinigungs-Schritt. Die sensibelsten Kunden erhalten einen „privaten Modus", der an das von uns selbst gehostete Foundation-Sec-8B gebunden ist — und die Daten verlassen unsere Grenze überhaupt nicht.
Wie wir das stetig verbessern — kontinuierliche Qualitätskontrolle
Ein KI-Modell, das Aktionen ausführt, ist auch eine Angriffsfläche. Deshalb: (1) deterministische Leitplanken außerhalb des LLM — eine Richtlinie, die destruktive Aktionen abfängt, sodass eine Injektion in das LLM den Schaden nicht ausweiten kann. (2) Ein nächtliches Red-Team gegen unseren Agenten (Prompt-Injection/Jailbreak), das Regressionstests durchführt und den Deploy scheitern lässt, wenn eine Verteidigung bricht. (3) Das Modell-Ranking wird gegen neue Benchmarks neu bewertet — das Routing aktualisiert sich, wenn ein besseres Modell erscheint. Die Wahl ist lebendig.
Dieser Artikel beschreibt KI-Architektur und Auswahlüberlegungen. Benchmark-Zahlen sind Stand 2026 und sollten gegen die Quelle verifiziert werden. Es gibt hier keine API-Schlüssel, Geheimnisse oder internen Prompts.
← Alle Beiträge