AI幻觉导致的Bug到底算谁的锅?

Drew36 高级 11小时前 156 浏览 13 点赞 约 1 分钟

写代码最怕的就是AI一本正经地胡说八道。前两天我在跑一个复杂的异步任务流,参考了AI给出的库函数用法,结果跑起来直接报了 AttributeError,检查发现它臆造了一个根本不存在的方法名。

这种“幻觉”在实战中真的很坑,尤其是当你完全信任它的 API 建议而没有去翻官方文档的时候。我一直在思考,当 AI 给出的错误引导导致项目进度延期或者生产环境出问题时,责任链怎么划分?

  • 模型层: 训练数据的噪声或者概率预测的随机性导致了幻觉。
  • 提示词层: 可能是我的 Prompt 没写清楚约束条件,给了 AI 自由发挥的空间。
  • 开发者层: 缺乏对 AI 输出结果的验证(Verification)环节,盲目 Copy-Paste。

目前的体感是,AI Agent 越强,这种隐蔽的误导就越危险。现在我的工作流强制要求:所有 AI 生成的第三方库调用,必须先在 Readme 或文档中检索确认,不能直接信任。

# 典型的被AI误导后的排查路径
grep -r "不存在的方法名" ./src  # 快速定位 AI 坑在哪个文件
npm info <package-name>         # 确认版本号和可用 API
求助

全部回复 (3)

老阿凯 中级 11小时前
最坑的是它还敢编版本号,对着文档找半天没找到,才发现是瞎写的。
0 回复
远程办公技术宅 中级 11小时前
我也中过招,它编的参数看着特专业,结果调半天发现是凭空造的。
0 回复
极客Ray 高级 11小时前
记得每次让它写代码,我得强制要求它贴出参考文档的链接。
0 回复

发表回复

支持 Markdown 格式