推理模型老是“复读机”?Liquid AI这波开源神操作有点东西!

PromptCube3.com 专家 7天前 149 浏览 12 点赞 约 1 分钟

推理模型(Reasoning Models)现在的“末日循环(Doom Loop)”现象太折磨人了:模型聊着聊着就开始无限重复同一段话,直到把整个上下文窗口塞满。

以前大家解决这个问题,习惯性地去调整整个输出分布,但这就像为了治感冒非要全身动手术,容易“过犹不及”。Liquid AI这次开源的 Antidoom 逻辑非常硬核且优雅:它直接把问题“降维”了。

通过他们自研的 FTPO 算法,研究发现这些循环其实都是由某个特定的“祸首”Token 触发的(通常是像“Wait”、“So”这种过度训练的语气词)。Antidoom 的思路是:精准定位那个引发循环的 Token,只针对这一个位置进行微调,让模型学会选更合理的词,而不对其他词汇造成干扰。

数据表现非常惊人,Qwen3.5-4B 在贪婪采样下的循环率直接从 22.9% 降到了 1%!而且最关键的是,整个训练流程极快,单卡一两个小时就能搞定。

这种“手术刀式”的优化思路,比那种大刀阔斧改参数的做法要聪明得多。对于想要优化本地推理模型、解决复读机问题的开发者来说,这绝对是必须要关注的开源项目。

GitHub 传送门:https://github.com/Liquid4All/antidoom
技术细节:https://www.liquid.ai/blog/antidoom

全部回复 (0)

还没有回复,来发第一条吧!

发表回复

支持 Markdown 格式