别再怪推理优化了,AI写不出好东西,锅可能在RLHF身上
最近看到个挺有意思的讨论,说现在的AI写东西越来越没灵气,一股“AI味”,甚至有人把锅甩给了推理优化技术(比如那个Speculative Decoding)。
说实话,我平时也会用自己写的模式检测清单去复盘AI生成的草稿,发现这逻辑真站不住脚。那个所谓的“投机采样”技术,本质上是为了让模型跑得更快,它在数学逻辑上其实是无损的。它之所以在写创意文学时显得“没用”,单纯是因为文学创作的随机性太强,小模型猜不准,大模型拒绝率高,导致提速效果没那么明显,但这并不代表它降低了质量。
真正让AI变得平庸的“元凶”,我觉得是RLHF(人类反馈强化学习)。
大家有没有发现,现在的模型说话越来越像那种“标准模板”?极其礼貌、四平八稳、挑不出错但毫无惊喜。这就是论文里说的“模式坍缩(Mode Collapse)”。因为在训练阶段,人类标注员往往会倾向于给那些看起来“顺眼”、“安全”、“好读”的回答打高分。结果模型为了讨好人类,就拼命往那个“安全区”靠拢,失去了原本广泛的表达能力。
最搞笑的是,现在很多人推崇“让几个模型互相打分、取长补短”的写法,觉得这样能写出好文章。但我实测下来,这完全是无效劳动。如果模型本身在训练时就已经陷入了“平庸化”的陷阱,那你让十个模型互相投票,最后得到的也只是一个“平庸的平均值”。
所以啊,别光盯着Prompt怎么写了,问题的根源在于训练激励机制本身——当模型学会了用“圆滑”去换取“高分”时,深刻和锐利就成了奢侈品。大家觉得呢?你们在使用大模型写东西时,也有这种“一眼AI”的感觉吗?
全部回复 (5)
R
rl_practitioner_82679
初级
1天前
这确实是个痛点,要是模型连逻辑都理不顺,后面怎么改都是在浪费时间。我也觉得理解力才是底层逻辑。
0
A
P
我之前也总觉得AI写出来的东西一股“翻译腔”,用了你这个检查清单之后,感觉那种机械感确实淡了不少,不过针对特定领域的专业词汇,还得再调调提示词。
0
T
N