弱模型调试法:模型越笨,照出的 Bug 越多
代码写多了会有一个反直觉的体会:越强的模型越容易掩盖问题。
效果立竿见影,改完之后 robust 的程度明显高了一个档次,因为它修的是 bug 产生的条件,而不是只修那一个报错本身。
手里的 Claude Code 升级到 Sonnet 之后,我发现一个尴尬的事实——它太聪明了,聪明到当我给它一段有瑕疵的代码让它 debug,它会不动声色地绕过那个瑕疵,把整段逻辑“合理地”续完。结果就是:运行通过了,你沾沾自喜,然后上线第三天炸了。反过来,换一个弱一点的模型去跑同一段代码,它没有能力帮你“脑补”缺失的部分,只会老老实实地把整个路径走完,在某个边界条件下摔一跤,给你抛一个刺眼的报错。
这个报错才是宝藏。
# 强模型视角:这里看起来是 bug,但它会假设你后面有补丁,直接跳过去
def parse_config(raw: str) -> dict:
return json.loads(raw) # 如果 raw 为空字符串,它不报错,强模型会假装没看见
# 弱模型视角:它真的会去调 json.loads(""),然后:
# json.JSONDecodeError: Expecting value: line 1 column 1 (char 0)弱模型没有“体面”,不会帮你圆场,它会把代码里每一处自相矛盾的地方都当成照妖镜,逼你看清楚。强模型做 debug 时,是在跟你“协商”一个合理的解释;弱模型做 debug 时,是在跟你“对抗”,直到找出真正的问题源。
所以我现在的工作流变成了:
- 第一轮:用 Clio 或某个小参数开源模型跑一遍代码,收集它碰到的所有 edge case
- 第二轮:把收集到的报错喂给 Claude Code,让它根据这些失败点去改
效果立竿见影,改完之后 robust 的程度明显高了一个档次,因为它修的是 bug 产生的条件,而不是只修那一个报错本身。
另外提一句,如果做 prompt 评测,弱模型做 judge 也比人靠谱——它没有立场,不会对你写的提示词产生“这个人写得真好”的滤镜。
模型这东西,跟手电筒一样,太亮了反而看不清裂缝。留一盏昏黄的灯,裂缝就藏不住了。
事件追踪 · 相关报道
并发编程成了他妈的一堆破烂——直到AI把它写成寓言书
9小时前
分享一个叫Wienerdog的小工具
1天前
**Anthropic和OpenAI的军备竞赛
2天前
标题:一人公司百万美元:AI时代独立开发者的新高度
4天前
技术文档工程师在AI时代的生存指南:从写文档到构建知识库
4天前
Cadence Money:一个反向操作的记账工具
4天前
全部回复 (0)
还没有回复,来发第一条吧!