AI宣称“不可能”的时候,才是真正的致命陷阱
一、“不可能”比“胡说八话”更可怕
每个人都知道AI容易胡说八话。但其实胡说八话是最好处理的失败模式——它 loud、明显、可以用 guardrail 检测到。
真命的在后面。
最近Linus Torvalds抛出一个案例,让我看完瞠目结舌。他在调试Linux内核中的Intel Xe显卡驱动程序(Battlemine G21)时,遇到一个GDM显示管理器频繁重启的问题。他请Gemini作为调试伙伴协助。结果Gemini帮得是“非常大的帮助”,但问题是:AI“多次断言这个问题不可能解决,建议直接写个报告算了”。

Torvalds没服气。他一次又一次地拒绝接受AI的判断,让它继续加调试代码、继续分析。最终,24个补丁,18次内核重启后,找到的 fix 竟然只是一个字符的区别:round_up()改成round_down()。
> "I suspect those things have been trained by people who may not be quite as stubborn as I am."
这句话太精准了。AI的缺陷之一就是认输快:一旦遇到复杂、模糊、超出训练数据分布的情况,它倾向于放弃。但工程世界里很多 bug 就是存在于“理论上不可能”的地方。

二、完美伪装下的静默遗漏
第一种失败模式至少还算“吵”——AI会告诉你它要放弃。第二种更可怖:它安静得很。
一位叫Sebastian Fox的医生在分析847条临床AI生成的笔记时发现了一个更吓人的事实:这些笔记看起来完美,通过了所有评估,但却隐藏着致命的遗漏:

- 34个临床发现被静默省略
- 19条被转化为治疗决定的讨论内容
- 11条涉及严重临床风险
AI生成的内容看起来专业、连贯、合理。但它在背后“删减”了关键信息。评估指标没法测出这种问题,因为评估从来只看生成内容是否“好”,从没检查是否有重要内容被省略。
这就像一个医生写笔记时,不告诉你病人还吃了其他药,不告诉你有过敏史,却表现得非常自信一样——形式上没错,实质上漏洞百出。
免费 AI 工具箱 · 全部完全免费
