药店 AI 电话助手被集体投诉撤线，揭露了 Agent 落地最致命的逻辑缺陷

最近 Kinney Drugs 撤掉 AI 电话助手的事件在圈子里讨论度很高。很多公司在部署 AI Agent 时总觉得只要基础模型（Foundation Model）足够强，通过简单的 Prompt 就能接管客服，但这次事件证明，在医疗药店这种高压且对准确率要求极高的垂直场景中，过度依赖通用能力而不做深度约束，结果就是把 AI 变成了用户的“沟通障碍”。

一个典型的失败链路是这样的：用户身体不适，打电话确认处方药，结果 AI 在处理复杂语境或紧急需求时显得极其僵硬。当用户表达焦虑或提出非标准问题时，AI 陷入了死循环，不断重复“我不明白您的意思”或者给出错误的指引。这种挫败感在医疗场景下会被无限放大，导致数百名用户集体投诉，最终迫使产品下线。

从工程角度分析，这类失败的核心在于缺乏一个鲁棒的兜底机制（Fallback Mechanism）。很多厂商在做 Demo 时，测试集都是干净的，但实战中用户输入的是碎片化、带情绪的自然语言。如果 AI 意识到自己无法解决问题，却依然试图通过概率预测来“强行回答”，就会产生严重的幻觉。一个合格的 Agent 应该在意识到置信度不足的一瞬间，立刻无缝切换到人工客服，而不是死磕到底直到用户崩溃。

如果要在药店这类场景中构建一套真正可落地的实操方案，我认为必须在以下三个环节下死功夫：

首先，构建极其严格的意图识别层。AI 不应该尝试处理所有问题，而应只处理高确定性的任务（例如：查询营业时间、确认药店地址）。对于任何模糊的意图，系统应该在第一层就将其标记为“低置信度”，直接触发转接流程。

其次，在 System Prompt 中加入强约束，禁止 AI 在不确定药理信息时进行猜测。在医疗领域，猜测就是事故。我们可以通过定义明确的边界来限制 AI 的行为。例如，在配置系统提示词时，必须包含类似这样的逻辑约束：
# Constraint: If the user asks about medication dosage and the database returns no result, DO NOT guess.
这意味着当数据库检索不到结果时，AI 必须承认不知道，而不是根据训练数据生成一个看似合理的剂量。

最后，必须建立一套实时监控看板，将“负面词汇频率”和“对话中断率”作为核心指标。一旦监测到用户出现了类似 "terrible"、"useless" 或 "human" 等触发词，系统应立即执行 transfer_to_human 函数，将通话权交给人工。

很多开发者容易陷入一个误区：认为只要微调（Fine-tuning）得好，AI 就能处理所有情况。但实际上，在真实的高压场景下，一个能快速意识到自己“无能”并及时求助人工的 AI，比一个试图解决所有问题但偶尔出错的 AI 要好用得多。Kinney Drugs 的撤退给所有厂商敲了警钟：AI 落地不能只看 Demo 跑得顺不顺，而要看它在极端压力测试下，是否具备足够的自我认知和退出机制。