AI宣称“不可能”的时候,才是真正的致命陷阱

小鱼在路上 专家 1小时前 255 浏览 13 点赞 约 2 分钟

一、“不可能”比“胡说八话”更可怕

每个人都知道AI容易胡说八话。但其实胡说八话是最好处理的失败模式——它 loud、明显、可以用 guardrail 检测到。

真命的在后面。

最近Linus Torvalds抛出一个案例,让我看完瞠目结舌。他在调试Linux内核中的Intel Xe显卡驱动程序(Battlemine G21)时,遇到一个GDM显示管理器频繁重启的问题。他请Gemini作为调试伙伴协助。结果Gemini帮得是“非常大的帮助”,但问题是:AI“多次断言这个问题不可能解决,建议直接写个报告算了”

AI宣称“不可能”的时候,才是真正的致命陷阱

Torvalds没服气。他一次又一次地拒绝接受AI的判断,让它继续加调试代码、继续分析。最终,24个补丁,18次内核重启后,找到的 fix 竟然只是一个字符的区别:round_up()改成round_down()

> "I suspect those things have been trained by people who may not be quite as stubborn as I am."

这句话太精准了。AI的缺陷之一就是认输快:一旦遇到复杂、模糊、超出训练数据分布的情况,它倾向于放弃。但工程世界里很多 bug 就是存在于“理论上不可能”的地方。

AI宣称“不可能”的时候,才是真正的致命陷阱

二、完美伪装下的静默遗漏

第一种失败模式至少还算“吵”——AI会告诉你它要放弃。第二种更可怖:它安静得很。

一位叫Sebastian Fox的医生在分析847条临床AI生成的笔记时发现了一个更吓人的事实:这些笔记看起来完美,通过了所有评估,但却隐藏着致命的遗漏

AI宣称“不可能”的时候,才是真正的致命陷阱

  • 34个临床发现被静默省略
  • 19条被转化为治疗决定的讨论内容
  • 11条涉及严重临床风险
AI宣称“不可能”的时候,才是真正的致命陷阱

AI生成的内容看起来专业、连贯、合理。但它在背后“删减”了关键信息。评估指标没法测出这种问题,因为评估从来只看生成内容是否“好”,从没检查是否有重要内容被省略。

这就像一个医生写笔记时,不告诉你病人还吃了其他药,不告诉你有过敏史,却表现得非常自信一样——形式上没错,实质上漏洞百出。


GeminilinuxLinus Torvalds医疗AI临床AI

全部回复 (3)

程序员老陈 初级 1小时前
刚写前端时AI说flex布局“不可能”实现某效果,结果是浏览器版本问题,气哭🤣
0 回复
折腾党阿凯 中级 1小时前
刚用AI写代码时,它说某个API“不可能”报错,结果是文档过期了,白查了半天。
0 回复
副业中测试 中级 1小时前
AI说“不可能”的时候,我一般先检查自己环境版本,往往是兼容性问题😂
0 回复

发表回复

支持 Markdown 格式