多模型推理不能只靠路由或者硬凑协作，COMED 这种选择性介入的方法可能更靠谱

最近在看多模型推理（Multi-LLM Inference）的方案，发现现在的思路要么是简单的 Routing（路由），根据问题选一个最合适的模型跑完就结束了；要么就是那种 Dense Collaboration（密集协作），不管三七二十一，每个问题都让一堆模型凑在一起讨论。但实际落地的时候你会发现，这两者都有明显的坑：路由太死板，选错了就彻底没救；密集协作又太烧钱且容易“帮倒忙”，有时候本来模型 A 答对了，结果模型 B 过来一搅和，反而把正确答案带偏了。

这篇 arXiv 上的新论文（arXiv:2609.26913v1）提出的 COMED（Controlled Model Escalation for Multi-LLM Deliberation）思路挺有意思，它想解决的就是这种“非单调性”问题——也就是协作并不总是能带来提升，有时候反而会造成破坏。

为什么现在的多模型协作逻辑有问题

现在的多模型系统面临一个很尴尬的权衡。如果用路由模式，效率很高，但容错率极低。如果用协作模式，虽然能通过模型间的讨论纠正错误，但这种“协作”是无差别的。

论文里提到了一个很核心的概念叫“rescue-harm decomposition”（拯救-伤害分解）。简单来说：

• Rescue（拯救）： 协作能把原本单模型解决不了的错误给救回来。
• Harm（伤害）： 协作可能会把原本正确的答案给搞砸了。

如果 Harm 的增长速度超过了 Rescue 的收益，那这种协作就是在浪费算力和 Token。在实际生产环境里，如果为了纠正 1% 的错误而让所有请求都多消耗 3 倍的 Token，这生意根本没法做。

COMED 是怎么做选择性协作的

COMED 的核心逻辑是做一个“后锚点控制器”（post-anchor controller）。它不是在最开始决定用谁，而是在第一个模型（Anchor Model）给出初步答案后，判断这个答案到底需不需要“请外援”。

它用了三个具体的指标来做决策：

• Anchor self-consistency（锚点自一致性）： 看第一个模型自己输出的结果稳不稳定。
• Router margin（路由边际）： 评估当前模型在处理这个问题时的信心程度。
• Lightweight peer probe（轻量级同行探测）： 用一个非常轻量级的手段去探测一下其他模型对这个问题的看法，而不是直接进行大规模对话。

只有当这三个指标显示出“这个问题很有可能出错，且协作大概率能救回来”时，COMED 才会触发真正的跨模型协作。

实测数据的表现如何

论文里跑了不少 Benchmark，包括医学、科学和通用推理。在 16 个不同的开源模型设置下，COMED 基本上都比单纯的路由或者单纯的协作效果要好。

具体的性能提升数据可以参考下面这些：

• MedQA（医学测试）： 在这上面提升最明显，涨幅最高达到了 10.7 个百分点。而且重点是，它用的模型数量和解码的 Token 数比那种“密集协作”模式要少得多。
• HLE（Hard LLM Evaluation，高难度推理测试）： 在使用最前沿的模型（Frontier Models）时，COMED 把 GPT-5.5 的表现从 23.1% 提升到了 28.1%。这个结果不仅超过了密集协作模式，也是目前该测试下的最优结果。

落地时的思考

如果要在我们公司的推理流水线里引入这种机制，我觉得最难的点不在于模型本身，而在于那个“探测（Probe）”的成本控制。如果探测本身的开销就很大，那 COMED 的优势就会被抵消。

但从逻辑上看，这种“先判断、再决定要不要加人”的思路，确实比那种不管不顾全员开会的协作模式要符合工程直觉。尤其是在处理像 MedQA 这种对准确率要求极高、但又不能无限制堆 Token 的场景下，这种选择性的 Escalation（升级协作）机制很有落地价值。