Pathway 那个 1.
1.5 亿参数的模型,在 ARC-AGI-1 这种极其考验逻辑推理的测试集上能拿到 29.5% 的分数,而且单次任务的计算成本才 0.0007 美元。这个数据如果属实,简直是在打那些靠堆参数量、堆 Token 长度来强行提升推理能力的巨型模型的脸。
下一篇
通过 API 强行扒出大模型隐藏思考过程这件事真的挺细思极恐的 →
这个叫 BDH-CQ 的模型最核心的突破在于它不再是传统的 Transformer 架构,而是走了一条“后 Transformer”路线。它摒弃了那种极其耗资源的长 Token 链式思考(CoT),转而采用循环内存(Recurrent Memory)和潜空间推理(Latent Reasoning)。简单来说,它不是在文本表面上地毯式搜索答案,而是在内部状态中进行更高效的逻辑处理。
这就让我想起 Andrew Curran 之前在社交平台上剧透过的一次架构突破,当时他说一个非大厂背景但与 OpenAI 有深厚渊源的团队搞出了某种内存效率极高的方案。现在看 Pathway 的这个动作,时间线和技术路径几乎完全对得上。而且 Lukasz Kaiser(Transformer 的共同作者之一)不仅是投资人还是顾问,这层关系让 BDH-CQ 的技术可信度高了很多。
目前的模型竞争已经进入了一个很奇怪的阶段:一边是追求万亿参数的暴力美学,另一边则是像 Pathway 这样在极小参数量下通过架构优化实现“智力跃迁”。如果这种循环内存机制能规模化,未来的 AI Agent 可能不需要昂贵的 H100 集群,在边缘端就能完成复杂的逻辑推理。
虽然目前只有 150M 规模的数据,但这种成本效率比(Cost-Efficiency)的提升才是真正的实战意义。一个能低成本、高效率解决未知逻辑问题的模型,比一个只会背诵语料库的巨无霸要实用得多。