O cérebro defensivo: por que Claude + Foundation-Sec-8B + RAG
Um agente de IA que analisa eventos de segurança é tão bom quanto o modelo por trás dele e o conhecimento a que ele consegue acessar. Escolhemos ambos por benchmarks reais — e aprendemos uma percepção que economiza muito dinheiro.
O problema: nem todo modelo é bom em cibersegurança
É fácil supor que "o modelo mais inteligente" é o melhor em tudo. Em cibersegurança, isso não é verdade. A análise de incidentes exige um laço de iteração: escrever uma consulta, ler os resultados, corrigir e tentar de novo. Alguns modelos se destacam nisso e outros desmoronam — e nem sempre é o modelo "mais forte".
O que comparamos — benchmarks, não hype
Nos apoiamos em duas fontes primárias: o CTI-REALM da Microsoft (50 tarefas contra simulações reais de ataque) e o CyberSOCEval da Meta/CrowdStrike (609 casos validados por especialistas). Surgiram duas percepções contraintuitivas:
- O Claude lidera no trabalho agêntico — graças ao laço de iterar-e-refinar, onde alcançou 0,86–0,92 enquanto os concorrentes caíram abaixo de 0,50.
- O modo de raciocínio caro não melhora a análise de cibersegurança — ao contrário de matemática e código. Os modelos não foram treinados para "pensar" sobre análise de segurança, então pagar por reasoning-high na triagem é desperdício.
O que escolhemos — roteamento inteligente, não um único modelo
| Modelo | Papel | Por quê |
|---|---|---|
| Claude (Sonnet/Opus) | Triagem agêntica + redação de relatórios de incidente | Classificado em 1º–3º no CTI-REALM |
| Foundation-Sec-8B (Cisco) | O trabalhador barato-e-privado: CVE→CWE, perguntas de ATT&CK | Qualidade de ~70B em tamanho 8B, roda em nossa infra |
| Workers AI (na borda) | Embeddings + triagem padrão | Gratuito, permanece dentro do inquilino Cloudflare |
O roteamento economiza dinheiro e preserva a privacidade: a maior parte do trabalho roda em modelos gratuitos/abertos, e apenas os casos mais difíceis são encaminhados ao Claude pago.
E por que RAG — e não fine-tuning
O conhecimento em cibersegurança muda todo dia: novos CVEs, novas técnicas de ataque, novos IOCs. Não dá para retreinar um modelo com isso. Portanto, o alicerce é o RAG — incorporamos as bases de conhecimento públicas (MITRE ATT&CK, D3FEND, Sigma, feeds de ameaças) num armazenamento vetorial, e o agente recupera a técnica relevante, a contramedida correspondente e a regra de detecção em tempo real.
O fine-tuning fica reservado a apenas duas transformações estreitas onde o RAG atinge seu teto: gerar regras Sigma e mapear uma técnica ao ATT&CK — onde um pequeno modelo aberto ajustado supera até os modelos gigantes.
As quatro âncoras — e todas elas são legais para uso comercial
Escolhemos deliberadamente fontes abertas que podem ser incorporadas a um produto pago: MITRE ATT&CK + D3FEND (técnica↔contramedida), Sigma (regras de detecção, licença DRL) e Atomic Red Team (MIT) como o gerador de exemplos. Ficamos atentos a armadilhas de licenciamento: alguns conjuntos de dados acadêmicos são permitidos apenas para pesquisa e não podem ser incorporados a um produto — então nós os mantemos separados.
Privacidade: um "modo privado" para clientes sensíveis
Os logs de uma empresa são dados sensíveis. Portanto, o padrão é rodar no Workers AI (os dados permanecem dentro do inquilino Cloudflare), e antes de qualquer salto para uma API externa há uma etapa de higienização de PII. Os clientes mais sensíveis ganham um "modo privado" fixado no Foundation-Sec-8B que nós mesmos hospedamos — e os dados não saem de nossa fronteira de forma alguma.
Como continuamos aprimorando isto — controle de qualidade contínuo
Um modelo de IA que executa ações também é uma superfície de ataque. Portanto: (1) salvaguardas determinísticas fora do LLM — uma política que intercepta ações destrutivas, de modo que a injeção no LLM não consiga ampliar o dano. (2) Um red-team noturno contra nosso agente (prompt-injection/jailbreak) que roda testes de regressão e reprova o deploy se uma defesa quebrar. (3) A classificação dos modelos é reavaliada contra novos benchmarks — o roteamento se atualiza quando um modelo melhor surge. A escolha está viva.
Este artigo descreve a arquitetura de IA e as considerações de seleção. Os números dos benchmarks são precisos até 2026 e devem ser verificados contra a fonte. Não há chaves de API, segredos ou prompts internos aqui.
← Todos os posts