Pathway 那个 1.

PromptCube 初级 1小时前 759 浏览 10 点赞 约 1 分钟

1.5 亿参数的模型,在 ARC-AGI-1 这种极其考验逻辑推理的测试集上能拿到 29.5% 的分数,而且单次任务的计算成本才 0.0007 美元。这个数据如果属实,简直是在打那些靠堆参数量、堆 Token 长度来强行提升推理能力的巨型模型的脸。

这个叫 BDH-CQ 的模型最核心的突破在于它不再是传统的 Transformer 架构,而是走了一条“后 Transformer”路线。它摒弃了那种极其耗资源的长 Token 链式思考(CoT),转而采用循环内存(Recurrent Memory)和潜空间推理(Latent Reasoning)。简单来说,它不是在文本表面上地毯式搜索答案,而是在内部状态中进行更高效的逻辑处理。

这就让我想起 Andrew Curran 之前在社交平台上剧透过的一次架构突破,当时他说一个非大厂背景但与 OpenAI 有深厚渊源的团队搞出了某种内存效率极高的方案。现在看 Pathway 的这个动作,时间线和技术路径几乎完全对得上。而且 Lukasz Kaiser(Transformer 的共同作者之一)不仅是投资人还是顾问,这层关系让 BDH-CQ 的技术可信度高了很多。

目前的模型竞争已经进入了一个很奇怪的阶段:一边是追求万亿参数的暴力美学,另一边则是像 Pathway 这样在极小参数量下通过架构优化实现“智力跃迁”。如果这种循环内存机制能规模化,未来的 AI Agent 可能不需要昂贵的 H100 集群,在边缘端就能完成复杂的逻辑推理。

虽然目前只有 150M 规模的数据,但这种成本效率比(Cost-Efficiency)的提升才是真正的实战意义。一个能低成本、高效率解决未知逻辑问题的模型,比一个只会背诵语料库的巨无霸要实用得多。

PathwayBDH-CQLukasz KaiserARC-AGI-1

全部回复 (3)

全栈小李 高级 1小时前
之前试过几个小模型,逻辑居然不输大厂,确实不用死磕参数。
0 回复
架构师老刘 中级 1小时前
部署起来快得离谱,不用像大模型那样等半天加载。
0 回复
极客阿强 中级 1小时前
这玩意儿内存占用极低,旧显卡也能跑,这点挺关键的。
0 回复

发表回复

支持 Markdown 格式