系统一决策模型在智能体框架中的真实表现与盲点剖析

在当前的智能体框架搭建过程中，系统一决策模型正被寄予厚望。这类模型试图通过单次前向传递直接输出类别概率，以此来处理调用哪个模型、选择哪款工具、判断检索文本是否相关以及识别输入中是否存在注入攻击等频繁发生的微小且类型化的任务。理论上，这种方案能够带来巨大的成本节约和延迟降低，但在面对复杂的实际负载时，其稳定性和准确性究竟如何，近日的一项研究给出了令人警醒的自审计评估结果。

评估基准的构建与模型配对测试细节

为了弄清这类决策模型的底细，研究人员设计了一套包含 11 个智能体决策点的配对评估方案。这些决策点取材于 18 个公开数据源，共计包含了 7,283 个基础测试用例以及 6,640 个鲁棒性变体。为了保证评估结果的公正性和可重复性，整个测试流程采用了字节完全相同的输入，并执行了严格的配对测试，同时跨硬件环境和跨日期的可重复性检查也必不可少。
在具体的模型选择上，测试覆盖了两类代表性的方案：

• 开源权重模型： 选用名为 Laya 的开源系统一决策模型，用于检验其在本地或自由部署环境下的基础吞吐与决策能力。
• 托管服务模型： 选用名为 Jev 的托管型系统一决策模型，用以代表商业化 API 接口在封装和云端优化后的表现。

通过对这两种架构的大规模对测，研究人员得以窥见系统一架构在面对高频原子任务时的真正短板。

两种决策模型在各项原子任务上的性能分化

测试结果表明，托管服务模型 Jev 在 11 个决策点中的 9 个上展现出了显著更高的准确率，其优势幅度在 10.8 个百分点到 46.0 个百分点之间。这说明在当前的算法成熟度下，经过深度调优的托管服务依然在大部分结构化判断中占据统治地位。
然而，测试同样暴露出两个模型在特定复杂场景下的共同盲区：

• 零样本模型路由失效： 在零样本模型路由这一任务上，无论是 Laya 还是 Jev，其表现都没有超出随机猜测的水平，这意味着盲目依赖轻量级决策模型来动态分发高难度子任务存在极大的误判风险。
• RAG 相关性门控打平： 在检索增强生成的检索相关性门控（RAG relevance gating）任务上，两个模型打成平手，没有拉开本质差距。

特别是对于开源的 Laya 模型，其表现出的脆弱性更为明显。当输入的选项顺序被反转时，Laya 会直接改变 30% 的答案。而在面对数量较多或高度相似的候选对象时，其性能会出现断崖式下跌。例如，当面对 50 个最近邻工具的复杂选择时，其准确率会跌至 31%，而相比之下，Jev 在面对具有唯一正确工具的复杂条目时，其准确率可以保持在 98% 的高位。

研发管线自身的审计盲区与指标虚高

这项研究最深刻的价值，或许不在于评测了孰优孰劣，而在于研究团队对自身评测管线进行了极其严格的自审计。正是这种自我解剖，揭示了以往许多宣称中常见的统计陷阱和设计缺陷。
在最初的部署声明中，有三处分析错误和一个设计混淆严重扭曲了最终的宣传口径：

• 预筛选成本被隐瞒： 最初宣称能够带来 23.9% 的成本节约，但实际上扣除掉未被计入的预筛选成本后，真实节省幅度仅为 4.3%。
• 门控准确率与端到端质量混淆： 报告中曾把单纯的门控准确率当成整体端到端质量来宣传，两者的实际表现存在悬殊差距，分别为 58% 和 98%。
• 样本内阈值导致泛化失效： 使用了样本内的阈值设定（目标为 5%），但在面对留出测试集时，错判率最高竟飙升到了 17%。
• 注入误报的通道效应： 产生了一个虚假的通道效应，导致注入攻击的误报率异常偏高，而这一现象在替换为通道原生内容后便自动消失了。

此外，研究人员在复核时还排除了另外两种被怀疑的混淆因素，确认它们并未对最终结论产生实质性影响。为了确保整个科学界的监督透明度，该研究的所有测试用例、原始输出结果以及分析代码均已打包公开，存放在代码托管平台上的 David-DL-Space/sys1-eval 仓库中，供后续研究者交叉验证。
这些发现提醒我们在后续构建智能体工作流时，不能仅仅追求系统一决策带来的极速响应和低廉成本。如果在路由分发、工具选择或安全护栏上引入未经严苛对齐的轻量级模型，不仅会在复杂候选集前频繁翻车，还可能因为隐藏的预筛选开销和错误的阈值设定，导致系统整体的可靠性和经济效益双双崩塌。