布朗大学团队打脸:他们的AI幻觉检测论文被实锤造假
不是说要拐弯抓驰,有时候整件事儿就这么直接——论文造假,第一现场永远是同行的眼睛。
就像拿一个“经过魔改的Stable Diffusion”去生成照片,最后连prompt对齐都没调好。
下一篇
烧钱的滑冰机?为什么Ninja Slushi在清仓季屡次被疯抢 →
关键细节: Brown University 的一组学生团队指控《NeurIPS 2024》接收的论文《AI-Detective: Benchmarking AI-Generated Content Detection via Large Language Models》存在图像篡改与数据伪造。对比论文中展示的“检测效果”,实验室复现代码直接崩掉,精确度也就查不到嘛。
这就好比,你在GitHub上贴心地给出pip install之后别人运行起来连报错都没有——那说明你压根没跑过,或者压根没写。
怎么回事
论文里有几张热力图看着非常亮眼,用来证明他们的检测模型“能一眼分辨”。但复现的同学发现:
- 热力图上的数字范围对不上
- 配套代码里缺关键脚本
- 实验环境版本不一致,根本没法复现
就像拿一个“经过魔改的Stable Diffusion”去生成照片,最后连prompt对齐都没调好。
教训
- 论文带代码,才能真正算是论文。
- 热力图不能只看好看,得看数值。
- 同行评估是最后一道防线。
思考
这件事说到底还是信任问题。我们为什么要相信AI生成内容的检测结果?因为它能被反复验证、被推敲、被推翻。一旦这条链条断了,整个“AI安全”的叙事就会土崩瓦解。
布朗大学的这帮人做的不是坏事,他们只是让整个社区重新审视了一下:我们到底是信代码,还是信PPT幻灯片?