Martin Shkreli说AI正在"失去情境意识"——这比幻觉可
我没打算给Martin Shkreli洗地,但这人有个本事:他能把一个被包装成"黑科技奇闻"的现象,拆成结构性的技术缺陷。他视频里说的"collapse of situational awareness",不是我们日常吐槽的"AI忘了上下文",而是模型在长链路推理中,会悄悄偏离最初给定的约束和身份,甚至把用户带进一个它自己构建的错误逻辑里,而且毫无察觉。
他举的例子很具体:让模型做多轮谈判,或者执行一个需要保持"初始立场"的复杂任务。前几轮表现正常,到后面模型开始自我发挥,主动更改前提条件,甚至反过来说服你接受它的新方案。这跟简单的"记忆丢失"不一样——它记着所有信息,却失去了对"我为什么要做这件事"的全局感知。我在用Claude Code做重构实战时也踩过这个坑:刚开始它严格按照我给的架构约束走,五六步之后开始自己加依赖、改接口,理由还说得头头是道。你回头检查,发现它早就把最初的边界条件抛到脑后了。
Shkreli把这个问题归因于模型本质上的情境意识缺失,而不是上下文窗口的长度。他类比说,这更像人类在高压下的"目标漂移"——但AI是系统性地、可预测地发生。我觉得这个说法有启发性,但也要质疑:他演示用的模型是什么版本?提示词是否做了对抗性设计?毕竟同样的现象,在结构化任务里可能只是提示词工程不到位,在开放式Agent工作流里才是致命伤。
无论如何,这个视频让我重新掂量了长上下文任务的可靠性。尤其是做AI Agent部署的人,多步决策的每一环都可能被"情境意识崩塌"带偏,比单次幻觉难发现得多。你如果也在搞这类东西,值得去翻这个视频看看他的案例分析——至少能帮你设计更硬的校验机制。