多模型生产系统的“智能管控”如何实现：从成本逻辑到动态路由决策

生产环境面临的挑战不再是单一模型的“智能程度”争论，而是如何有效管理几百个模型的并发运行。去年上线的客服系统就暴露出问题：单月 Token 账单高达两万刀，其中80%的请求（如“重置密码”或“发票查询”）被高成本模型（如GPT-4o）处理，而这些场景完全可以由成本低廉的Haiku 3.5或Flash模型承担。结果，仅通过路由层的调整，成本降低了65%，用户体验变化微乎其微。

路由层的核心价值在于它不是简单的网关，而是能够理解上下文并持续优化的动态决策引擎。在生产环境中，模型架构的典型布局如下：

应用层 → 路由层（决策：任务类型、成本预算、合规要求、SLA）
         ↓
推理模型（如o1、DeepSeek-R1） → 复杂逻辑场景
速度模型（如Haiku、Flash） → 实时交互
私有部署（如Llama、Qwen） → 敏感数据处理
兜底模型（供应商备用） → 断供应对

真正的难点在于，路由层需要根据请求特征、历史表现、实时Token价格和可用性，实时调整模型分配，而不仅仅是简单的API调用匹配。

Token 正在成为云资源的新维度，管理模型的成本需要超越传统的CPU或内存监控。具体监控指标包括：

• Token消耗曲线：按模型和业务线分解，以避免高成本模型被误用。
• 单任务成本：关注完成一个对话或工单的总Token消耗，而不是单价。
• 延迟分位数：P50、P95、P99等指标，因为不同模型在延迟上的差异巨大。
• 失败率与重试成本：包括供应商抖动导致的连锁反应，如断供后的自动切换。
• 合规路由比例：确保敏感数据流量被强制导向私有部署模型。

为了应对这些需求，团队在Grafana中构建了“模型成本仪表盘”，每日早会首查 yesterday 的模型性价比是否出现倒挂。

路由策略不能固化在if-else判断中，因为模型行为和需求变化快速。最初的硬编码策略（如“投诉→强模型，查询→弱模型”）上线两周后，误判率迅速上升至23%。后来采用分层决策系统：

1. 轻量分类器：50MB规模，推理耗时8ms，输入包含用户上下文（如最近3轮对话摘要、实体识别结果、业务标签）。
2. 上下文特征：结合模型实时价格、延迟和可用性。
3. 在线学习：通过线性规划计算当前最优分配。

结果显著改善：强模型调用占比从100%降至34%，人工复核率从12%降至4%，强模型推理精度提升，幻觉发生率显著减少。

仅选择“最便宜”的模型并不全面。完整的成本评估公式应包含：

总成本 = 模型调用成本 + 人工兜底成本 + 错误导致的业务损失 + 迁移锁定风险

例如，将代码生成任务从GPT-4o降级到某7B开源模型，虽然Token成本节省90%，但人工Review时间从2分钟延长至15分钟，人力成本反而增加3倍。因此，目前的策略是：

• 核心业务路径（如下单、支付、合同生成）锁定顶配模型；
• 探索性场景（如文案润色、摘要、闲聊）则主动压缩成本。

锁定模型的成本远高于动态路由。OpenRouter被Stripe收购的背后逻辑是：支付系统需要选择最优支付方式（Visa、Mastercard或本地网络），类似于模型路由的决策。如果现在不建设路由层，供应商断供或涨价后，重写业务代码的成本将是现在的两倍。目前，团队的Go代码（约2000行）接入12个上游，支撑日均300万请求，核心逻辑分为：

1. 画像分类：基于请求特征识别任务类型。
2. 实时评分：结合模型性能、价格和可用性。
3. 熔断降级：防止单点故障影响整体系统。

这意味着，当某个模型价格上涨或性能下降时，路由层会自动调整流量，避免成本暴涨或服务中断。