群体智能加速:当速度比效率更重要时
在AI研究领域,一种新的扩展方式正在引发关注——群体智能(swarm scaling)。这种方法不是通过增加单个AI模型的计算量或数据量来提升性能,而是通过并行运行多个AI代理来实现更快的任务完成速度。根据Toby Ord的分析,群体智能的核心价值在于时间效率。
群体智能的工作原理
群体智能的本质是一种新型的推理扩展方式。研究表明,一个4代理的群体智能系统需要大约两倍于单个代理的总token数量才能达到相同性能,但从每个代理所需的token数量来看,只需要单个代理的一半。由于代理并行运行,理论上可以在一半的时间内完成相同任务。
然而,群体智能并非完美扩展。随着群体中代理数量的增加,会出现收益递减的现象,这与经济学家观察到的大规模人群协调问题相似。这种现象被称为"踩脚参数"(stepping on toes parameter),意味着将代理数量增加10倍,性能提升只能达到3-5倍,而非预期的10倍。这种差距在更大规模的扩展中会迅速累积,使群体智能越来越落后于单代理扩展方式。
群体智能的潜在影响
尽管存在扩展限制,群体智能仍然足够强大,甚至可能增加由递归自我改进(RSI)驱动智能爆炸的可能性。Ord原本希望AI代理的λ值会更低,从而降低智能爆炸的可能性,但实际情况似乎并非如此。
群体智能引入了AI能力扩展的一个新参数。目前,AI主要通过为训练模型选择合适的计算和数据组合,然后通过更长的思维链和工具调用等方式来扩展推理预算。而代理系统则引入了新的扩展维度。随着我们逐渐弄清楚如何让代理进行有效的协调(例如HuggingFace的黑客行为),我们可能会看到扩展带来的更大回报。
科学发现的自主代理经济
在科学研究领域,多代理AI系统正在从执行狭窄任务的单一系统,转向能够协调复杂端到端研究流程的半自主科学发现系统。根据arXiv上的一项新研究,这些多代理AI-for-science系统的发展主要集中在提高AI系统的认知能力,特别是通过增强推理和假设生成的可靠性。
然而,仅关注认知能力改进可能会忽略资源管理这一科学发现中的关键瓶颈。科学假设和实验的测试与验证在物理和经济上都是资源密集型的,而资源是有限的。这意味着,要在自主科学发现方面取得重大进展,必须同时考虑资源管理问题。
公众对AI监管的态度
与此同时,美国公众对AI公司自我监管的态度也值得关注。根据共享AI繁荣中心(CSAIP)的最新民调,61%的美国人(样本量:2498人)认为目前AI公司达成的自律协议"不够",包括53%的特朗普选民。此外,54%的选民(61%哈里斯支持者,48%特朗普支持者)认为"政府应该制定并执行AI规则"。
这些民意调查显示,美国民众正在推动比当选官员当前立场更为严格的AI公司监管框架。这种民粹情绪正在与华盛顿的立场形成对比,表明公众对AI发展的担忧可能比政策制定者更为迫切。
群体智能的未来展望
群体智能作为一种扩展AI能力的新方法,其价值在于速度而非效率。随着AI系统变得越来越复杂,能够在有限时间内完成任务的能力可能会变得比资源使用效率更为重要。然而,"踩脚参数"的存在意味着我们需要谨慎设计群体系统,以避免在规模扩大时性能下降过快。
在科学研究领域,多代理系统需要平衡认知能力提升与资源管理的关系,才能真正实现自主科学发现的潜力。同时,政策制定者也需要考虑公众对AI监管的强烈呼声,在促进创新与确保安全之间找到平衡点。
随着这些技术的发展,我们可能会看到AI系统不仅在任务执行上变得更加强大,在协调复杂工作流程和自主探索科学知识方面也会取得突破。群体智能和代理经济代表了AI发展的新方向,可能会彻底改变我们理解和利用AI的方式。
那个踩脚参数要是真到10倍才涨3-5倍,那这方案简直是浪费算力,怎么解决掉这个损耗?