המוח ההגנתי: למה Claude + Foundation-Sec-8B + RAG
סוכן-AI שמנתח אירועי-אבטחה הוא רק טוב כמו המודל שמאחוריו וכמו הידע שהוא ניגש אליו. בחרנו את שניהם לפי בנצ'מרקים אמיתיים — ולמדנו תובנה אחת שחוסכת הרבה כסף.
מה הבעיה: לא כל מודל טוב בסייבר
קל להניח ש"המודל הכי חכם" הוא הכי טוב לכל דבר. בסייבר זה לא נכון. ניתוח-אירוע דורש לולאת-איטרציה: לכתוב שאילתה, לקרוא תוצאות, לתקן ולנסות שוב. חלק מהמודלים מצטיינים בזה וחלק מתרסקים — וזה לא תמיד המודל ה"חזק" ביותר.
מה השווינו — בנצ'מרקים, לא הייפ
הסתמכנו על שני מקורות ראשוניים: CTI-REALM של Microsoft (50 משימות מול סימולציות-תקיפה אמיתיות) ו-CyberSOCEval של Meta/CrowdStrike (609 מקרים מאומתי-מומחה). שתי תובנות נגד-אינטואיטיביות עלו:
- Claude מוביל על עבודה אג'נטית — בזכות לולאת ה-iterate-and-refine, שם הוא הגיע ל-0.86–0.92 בעוד מתחרים נפלו מתחת ל-0.50.
- מצב-reasoning יקר לא משפר ניתוח-סייבר — להבדיל ממתמטיקה וקוד. מודלים לא אומנו "לחשוב" על ניתוח-אבטחה, אז לשלם על reasoning-high ל-triage זה בזבוז.
מה בחרנו — ניתוב חכם, לא מודל יחיד
| מודל | תפקיד | למה |
|---|---|---|
| Claude (Sonnet/Opus) | triage אג'נטי + כתיבת דוח-אירוע | מקום 1–3 ב-CTI-REALM |
| Foundation-Sec-8B (Cisco) | העובד הזול-ופרטי: CVE→CWE, שאלות ATT&CK | איכות ~70B בגודל 8B, רץ אצלנו |
| Workers AI (על הקצה) | embeddings + triage ברירת-מחדל | חינמי, נשאר ב-tenant של Cloudflare |
הניתוב חוסך כסף ושומר פרטיות: רוב העבודה רצה על מודלים חינמיים/פתוחים, ורק המקרים הקשים ביותר מנותבים ל-Claude בתשלום.
ולמה RAG — ולא fine-tuning
ידע-סייבר משתנה כל יום: CVE חדשים, טכניקות-תקיפה חדשות, IOC חדשים. אי-אפשר לאמן-מחדש מודל על זה. לכן הבסיס הוא RAG — אנחנו מטמיעים את מאגרי-הידע הציבוריים (MITRE ATT&CK, D3FEND, Sigma, פידי-איום) ב-vector-store, והסוכן שולף את הטכניקה הרלוונטית, את הנגד-המתאים ואת חוק-הזיהוי בזמן-אמת.
fine-tuning שמור רק לשני טרנספורמים צרים שבהם RAG מגיע לתקרה: יצירת חוקי-Sigma ומיפוי טכניקה ל-ATT&CK — שם מודל-פתוח קטן ומכוונן מנצח אפילו מודלי-ענק.
ארבעת העוגנים — וכולם חוקיים-מסחרית
בחרנו דווקא מקורות פתוחים שמותר להטמיע במוצר בתשלום: MITRE ATT&CK + D3FEND (טכניקה↔נגד), Sigma (חוקי-זיהוי, רישיון DRL), ו-Atomic Red Team (MIT) כמחולל-הדוגמאות. שמנו לב למוקשי-רישוי: חלק ממאגרי-הנתונים האקדמיים מותרים רק למחקר ואסור להטמיע אותם במוצר — אז מפרידים.
פרטיות: "מצב פרטי" ללקוחות רגישים
לוגים של עסק הם מידע רגיש. לכן ברירת-המחדל היא להריץ על Workers AI (הדאטה נשארת ב-tenant של Cloudflare), ולפני כל קפיצה ל-API חיצוני יש שלב ניקוי-PII. ללקוחות הכי רגישים יש "מצב פרטי" שנעוץ ל-Foundation-Sec-8B שמתארח אצלנו — והדאטה לא יוצאת מהגבול שלנו בכלל.
איך אנחנו משפרים את זה — בקרת-איכות מתמשכת
מודל-AI שמבצע פעולות הוא גם משטח-תקיפה. לכן: (1) guardrails דטרמיניסטיים מחוץ ל-LLM — מדיניות שמיירטת פעולות הרסניות, כך שהזרקה לתוך ה-LLM לא יכולה להרחיב נזק. (2) red-team לילי על הסוכן שלנו (prompt-injection/jailbreak) שמריץ בדיקות-רגרסיה ונכשל את ה-deploy אם הגנה נשברה. (3) דירוג-המודלים נבחן מחדש מול בנצ'מרקים חדשים — הניתוב מתעדכן כשמודל טוב יותר מופיע. הבחירה חיה.
כתבה זו מתארת ארכיטקטורת-AI ושיקולי-בחירה. מספרי-בנצ'מרק נכונים ל-2026 ומומלץ לאמת מול המקור. אין כאן מפתחות-API, סודות, או prompts פנימיים.
← כל הכתבות