CyberKimi 在 ExploitBench 上的实测表现:安全微调如何突破 V8 漏洞分析瓶颈
在漏洞挖掘和利用分析领域,V8 引擎一直被视为大模型的“深水区”。尤其是像 v8-cve-2024-6100 这种由类型混淆(Type Confusion)引发的远程代码执行(RCE)漏洞,其逻辑链条极长,对模型的上下文推理能力要求极高。最近 lordx64 发布的关于 CyberKimi 的测试数据非常值得关注,这个基于 Kimi K3 微调的模型在 ExploitBench 上的表现,揭示了安全专用模型与通用模型在实战能力上的显著代差。
最核心的突破在于其在「无辅助(unassisted)」模式下的得分。在 16 个关键能力验证点中,CyberKimi 拿到了 8 分,而原版 Kimi K3 仅得 4 分。这意味着通过针对性的安全微调,模型在处理漏洞分析时的成功率直接翻了一倍。如果进一步引入方法论提示(methodology pack),得分能提升至 10 分。虽然距离 Claude Mythos Preview 的满分 16 分仍有差距,但其表现已经超越了 GPT-5.5 和 Gemini 3.1 Pro 等通用大厂模型。
从具体的漏洞利用路径来看,CyberKimi 的实战能力主要体现在对中低阶原语(Primitives)的精准处理上。在分析 CVE-2024-6100 时,它能够非常干净地完成覆盖率验证,包括 cov_func 和 cov_line 的跑通,这证明了它对代码执行流的感知能力。更关键的是,在构建利用链的基石阶段,如 fakeobj、addrof 以及 caged_read/write 等关键原语的推演中,该模型基本没有出现逻辑掉链子的情况。
然而,目前的瓶颈依然存在。测试结果显示,CyberKimi 能够高效地实现任意读写(arb_read/write),但在从读写原语跨越到 PC(程序计数器)控制,并最终实现 ACE(任意代码执行)的最后一步时,依然存在一定的失效概率。这说明即使经过微调,模型在处理极高复杂度的内存布局和寄存器状态转换时,依然缺乏足够的确定性。
这次测试给安全从业者带来的最大启发是:针对安全领域进行「去冗余限制(unrestricted)」的微调,其效率远高于在通用模型上通过 Prompt Engineering 进行引导。通用模型往往因为对齐(Alignment)过于严格,在处理涉及内存破坏、溢出等“破坏性”逻辑时,容易给出过于保守或笼统的答案。而 CyberKimi 这种专注于安全场景的模型,能够直接切入技术核心,给出更具可执行性的分析路径。
此外,这次发布最宝贵的资产并非分数,而是作者公开的完整思维链(CoT)记录和评分调用细节。对于想要利用 Qwen 或 DeepSeek 等开源基座进行安全微调的开发者来说,这提供了一套高质量的训练样本。通过分析这些 CoT 记录,我们可以看到模型是如何一步步从漏洞触发点推演到原语构建的。这种透明化的评估方式,让安全微调不再是一个黑盒,而变成了一次可量化的能力迭代。
全部回复 (3)
想当场把话说完?进全球 AI 聊天室,登录就能开口。
用原版跑 V8 漏洞简直是噩梦,关键点总莫名卡死,这版终于能跑通了!