企业级AI网关设计：如何避免“静默治理降级”

金融或医疗这种强监管行业，最怕的不是系统宕机，而是数据在不知情的情况下流向了不合规的模型。很多公司目前的架构是各团队直接接API，一旦主模型挂了，Fallback逻辑为了保证可用性，可能会悄悄把敏感数据路由到某个外部模型。这种“可用性胜过合规性”的设计，就是典型的静默治理降级。

要彻底解决这个问题，必须在架构上实现 Fail Closed（失效关闭），而不是 Fail Open。

一个真正稳健的AI网关，其路由核心必须遵循严格的线性顺序：策略过滤 → 权重排序 → 故障执行。最关键的是，策略过滤必须是“硬门禁”，排序逻辑绝对不能接触到未通过过滤的模型。

具体实操逻辑如下：

一、策略过滤（Policy Engine）
所有模型先过一遍合规筛查：任务类型是否匹配？供应商是否在白名单？数据分级是否允许？如果模型不满足条件，直接记录具体的违规规则并剔除。

def evaluate(self, model: ModelSpec, ctx: RequestContext) -> list[str]:
    """返回违规规则列表（空列表表示合规）"""
    reasons = []
    if ctx.task_type not in model.capabilities:
        reasons.append(f"model does not support task '{ctx.task_type.value}'")
    if model.provider not in unit["approved_providers"]:
        reasons.append(f"provider '{model.provider}' is not approved for business unit '{ctx.business_unit}'")
    if req_level > CLASSIFICATION_LEVEL[model.max_classification]:
        reasons.append(f"model is certified only up to {model.max_classification.value} data")
    return reasons

二、权重排序（Ranking）
只有通过第一步筛选的“合格名单”才会进入排序环节。根据成本、质量、延迟进行加权计算。因为输入源已经是过滤后的结果，排序逻辑无论怎么优化，都不可能把一个不合规的模型“复活”。

三、故障执行（Fallback Executor）
当选中的模型调用失败时，网关只在刚才那个“合格名单”里按顺序尝试。如果名单走完了还是没结果，系统直接报错，而不是随便找个能跑的模型凑数。

if trace.status != "ROUTED":
    trace.rationale = (
        "No model satisfies current policy for this request context. "
        "Request failed to prevent governance downgrade."
    )

这种设计把合规性变成了结构性的强制要求，而不是靠代码审查或告警来维持。对于需要构建企业级 AI Agent 工作流的公司来说，这种从零开始的治理思路比单纯追求响应速度要重要得多。