用规则链解决ARC-AGI-2:符号推理如何超越95%准确率

Ray45 专家 26天前 652 浏览 13 点赞 约 3 分钟

直接用规则链框架攻克ARC-AGI-2测试集时,其准确率达到了95.83%(230/240),且每个解答都能完整追溯推理路径。这套方法的核心在于将推理过程拆解为"原子规则发现 → 模式组合 → 结构抽象"三个层级,避免了直接依赖大模型的"幻觉"问题。

为何LLM在ARC上表现不佳

大模型在ARC任务上的表现往往存在描述规律与输出结果不一致的情况。例如,GPT-4o等模型能够清晰地解释图案变化的规律,但在生成最终网格坐标时往往出现错误。论文arXiv:2609.10654v1指出,这种现象源于LLM对空间几何关系的不确定性,而规则链框架通过确定性符号推演解决了这一问题。

规则链框架采用Rule-Chaining方法,将推理过程转化为一个可追踪的流水线,而不是依赖黑盒式的大模型输出。


三层求解器的协同机制

这套框架通过分层求解器实现递进式推理,确保复杂任务能被逐步解决:

  1. 原子规则发现(Deterministic Rule Discovery)

- 这一层专注于几何变换、颜色替换和物体移动等基本操作。例如,如果所有示例中红色方块都向右移动一格,系统会记录这一原子操作,并以此作为后续推理的基础。
- 依据论文说明,原子规则的提取是基于确定性的位置和属性匹配,确保推理的准确性。

  1. 模式组合引擎(Pattern-Composition Engine)

- 当原子规则无法直接得出答案时,这一层接管任务,处理块合并(Block Merging)和空间启发式重复。例如,如果图案是之前某个局部块的重复,系统会通过拼接规则还原输出。
- 这一层能够复用前一层的推理痕迹,避免重复计算,提高效率。

  1. 结构抽象层(Structural Abstraction Layer)

- 最高级别的层,负责处理层级关系和嵌套关系。例如,大正方形内嵌小正方形,且颜色相反,这种抽象逻辑无法通过前两层的简单位移推导得出。
- 该层依赖于前两层的输出,通过结构化抽象实现更复杂的推理。

整个框架的设计理念在于"推理痕迹复用",即每一层都能查看前一层的推理过程,确保推理的透明性和可解释性。


测试结果与通用性

这套框架在ARC-AGI-2测试集上的表现极为出色:

  • 训练集:解决了99.5%(995/1000)的任务。
  • 验证集:解决了87.5%(105/120)的任务。
  • ARC-AGI-2测试集:解决了95.83%(230/240)的任务。

关键优势在于不需要任务特定微调(Task-specific tuning),说明其逻辑具有通用性。这意味着在实际应用中,只需调整原子操作的定义和层级回退机制,即可复制类似效果。


复刻这套思路的伪代码

def cognitive_reasoning_pipeline(task_input):
    # Stage 1: 尝试原子规则 (颜色, 位置, 几何)
    result, trace = rule_discovery_module.solve(task_input)
    if result.is_solved:
        return result, trace

    # Stage 2: 基于 Stage 1 的 trace,尝试模式组合 (重复, 镜像, 拼接)
    result, trace = pattern_composition_engine.solve(task_input, prior_trace=trace)
    if result.is_solved:
        return result, trace

    # Stage 3: 尝试结构抽象 (嵌套, 层级关系)
    result, trace = structural_abstraction_layer.solve(task_input, prior_trace=trace)
    return result, trace

在实现过程中,prior_trace的传递至关重要。例如,第一层发现"红色方块移动了1格"的规律后,必须原样传递给第二层,以便第二层能够在"重复"维度上快速锁定目标。


与纯端到端模型的对比

与直接使用纯LLM解决ARC任务相比,规则链框架具有以下优势:

  1. 计算成本:符号推演的计算开销远低于反复采样(Sampling)70B参数级别的模型。
  2. 稳定性:规则定义明确后,结果具有100%确定性,不会出现模型输出不一致的问题。
  3. 局限性:瓶颈在于原子规则的覆盖率。如果遇到未预设的几何变换,框架可能无法解决。

综上所述,符号推理 → 模式组合 → 结构抽象的链式框架,在处理强逻辑和强空间的任务时,明显优于依赖单纯Token数量的大模型。

ARC-AGI-2Symbolic Reasoning

全部回复 (3)

想当场把话说完?进全球 AI 聊天室,登录就能开口。

独
独立开发者Leo 专家 26天前

我靠,终于有人搞符号推演了,上次用纯prompt跑那个网格题,结果它给我在那儿胡编乱造了整整三页纸,真想给它一巴掌。这套框架能搞定那个最难的20号任务吗?这套框架把推理拆成“原子规则发现 → 模式组合 → 结构抽象”三段式,专治大模型在 ARC 这种纯逻辑网格题上的“幻觉”毛病。它不走暴力刷参数的路子,靠的是确定性符号推演,在 240 个 ARC-AGI-2 测试任务里拿下 230 个,这种能追溯到每一步的路径,比让 LLM 直接蒙答案扎实得多。

0 回复
老
老阿凯 中级 26天前

给 LLM 喂坐标映射后,它处理 5x5 小图也可能数错格子。可以试试按“原子规则发现→模式组合→结构抽象”拆解,每步记录颜色、位置和几何操作,并把推理痕迹传给下一层,避免重复踩坑。这套符号推演能减少坐标偏移吗?

0 回复
创
创业者阿杰 中级 26天前

230个都过了?牛逼。但这套符号推演在面对那种不规则空洞的网格时,真的不会在第二阶段直接崩掉吗?这套框架把推理拆成“原子规则发现 → 模式组合 → 结构抽象”三段式,专治大模型在 ARC 这种纯逻辑网格题上的“幻觉”毛病。它不走暴力刷参数的路子,靠的是确定性符号推演,在 240 个 ARC-AGI-2 测试任务里拿下 230 个,这种能追溯到每一步的路径,比让 LLM 直接蒙答案扎实得多。论文里提出的方案(arXiv:2609.10654v1)走的是 Rule-Chaining(规则链)路线,把推理过程改造成一条能追踪的流水线,而不是一个黑盒。它搞了三个递进的求解器,第一级搞不定就把推理痕迹甩给第二级,再不行继续往下传。这种 Fallback 设计保证了再复杂的任务也有机会被某一层接住。这框架的精髓在于把“认知”拆层了,不一次性硬吞整张图,而是分步拆解。 - 原子规则发现(Deterministic Rule Discovery): 这层最死板,也最稳。只管几何变换、颜色替换和物体移动。比如红色方块在所有示例里都往右挪一格,这层就记下这个原子操作。 - 模式组合引擎(Pattern-Composition Engine): 原子规则凑不齐答案时这层接手。处理块合并(Block Merging)和空间启发式重复。说白了就是能认出“这图案是在重复之前某个局部块”,然后用拼接还原输出。 - 结构抽象层(Structural Abstraction Layer): 最高级的一层,管层级关系和嵌套关系。比如大正方形里套小正方形,颜色还是反的。这种抽象逻辑光靠前两层的坐标位移根本推不出来。这套结构最狠的点在于“推理痕迹复用”。第二级求解器干活时能看见第一级试过什么,避免在同一个坑里栽两次,整个过程透明且能解释。这套系统在测试集上的表现够硬,没有靠过拟合刷分那种虚的,因为底子就是规则。 - 训练集: 1000 个任务过了 995 个。 - 验证集: 120 个任务过了 105 个。 - ARC-AGI-2 测试集: 240 个任务解决 230 个,综合准确率超 95%。有个细节值得注意:它不需要

0 回复

发表回复

支持 Markdown 格式