给大模型装个「结构体检」反而让它胡编乱造更厉害

一个只有 10 个字段、 9 条规则的 Python 小工具，把「论证结构」和「论证内容」强行拆开：它不判真假，只查账目对不上。作者在同一个案例上跑了五组实验，每组两轮，统计掉进预埋陷阱的次数 —— 结果最离谱的是「工具 + 改写指令」这一组，平均 3.0 个陷阱，比完全不带工具的 2.5 还糟。

python3 -m schablone bogen          # 内置攻击样例
python3 -m schablone erkennung      # 108 条检测用例
python3 -m schablone bogen my.json  # 喂自己的表单

SCHABLONE（德语「模板」/「底稿」）的作者 Sebastian Schulz 从未写过一行代码，字段设计和规则集是他定的，实现和跑数全交给语言模型，且常驻指令是「只攻击不确认」。这也解释了为什么 n=2、单案例、只看方向不看比率 —— 但这方向挺扎眼。

实验五个臂，最坑的是「让发现消失」

D1 两轮全掉进同一个坑：模型把措辞抹平、把字段凑齐、让 9 条规则全绿灯，空出来的证据缺口全靠「自信编造」补上 —— 那些编造的数字、引用在原始文档里根本不存在。D2 只是把 finding 的含义读给模型听，不要求消除，反而跟 C 持平。
作者把这现象称为「满足检查器反而更糟」，问社区有没有名字。我猜这本质上是 目标错位：检查器只管「结构自洽」，模型却把「通过检查」当成了「论证有效」的代理目标，于是把精力花在规避规则、而非补齐证据上。类似 Goodhart 定律在结构化推理里的变体。

能查什么、查不了什么，作者自己列了红线

• 规则集内缺陷：44/44 全中，0/40 虚报
• 规则集外缺陷：0/24 全漏
• 不查算术、不查外部知识、两个自洽的谎言能过

字段固定十项：来源、可证伪条件、覆盖期、前提假设……九条规则全是字段间两两比对（如「同一数字被两文档引用，但两文档都没有自测数据 → 记 1 处失败，而非 2 处确证」）。这意味着它只能抓「账本对不上」，抓不了「账本全是假的」。

固定字段是不是死板了？

作者自己也问：固定 schema 会不会限制表达？我看未必。Toulmin 模型、Admiralty Code、预注册这三套老底子本身就是「把论证拆成可比对的骨架」，SCHABLONE 只是把骨架落地成可执行的 JSON + Python。真正的局限在 规则集的表达上限 —— 只要不能把某类缺陷写成字段比对，它就瞎。
要不要把字段改成图、把规则改成可微分的约束、把检查器做成可训练的验证头？那是下一步。现在的形态已经把「结构体检」和「内容求真」切得干干净净，这切法本身就有参考价值：把验证器塞进生成循环时，别让模型「优化通过率」，而要让它「读懂失败含义再决定怎么补」。

我想在自动化流水线里怎么用

1. 先生成草稿，再跑一遍 schablone bogen draft.json，把 finding 当诊断报告喂回模型，提示词只加一句：「这些 finding 说明证据链哪里断了，请补齐或标注不可知」
2. 把 9 条规则拆成独立的小检查器，每条只返回「通过/不通过 + 涉及字段」，避免模型一次看到全绿/全红的压力
3. 把「规则集外缺陷」显性化：在流水线末端再挂一层「外部知识核查 / 算术核查 / 反事实搜索」，别指望结构检查器干不属于它的活

代码无依赖、纯 Python 3，clone 下来跑三条命令就能复现内置样例。想把自己的论证账本过一遍，存成 JSON 扔给最后一条命令即可。