Tokenless：用动态路由在省钱和模型性能之间找平衡

API 账单爆表是现在很多做 AI Agent 开发者的噩梦，尤其是当你得在 Claude 3.5 Sonnet 这种顶尖模型和便宜的开源模型之间反复横跳时，手动选模型简直是浪费生命。Tokenless 这种 API 网关的思路挺有意思，它干的事就是把流量在不同模型之间实时动态路由，简单说就是：简单的对话丢给便宜模型，难搞的逻辑才转交给昂贵的大模型，从而在保证效果的前提下把成本压下来。

这种路由机制最关键的地方在于它不是简单的关键词匹配，而是通过一种比较新颖的并行查询方式，观察多个模型的生成进度来决定最终由谁接手。而且它考虑到了缓存（Cache）的问题，只要路由算法能感知缓存的热度，切换模型也不会导致上下文丢失或缓存失效，这对追求响应速度的实战场景非常重要。

要把 Tokenless 集成到自己的工作流里，基本上就是把原有的 API 端点替换成他们的网关地址。下面是一个简单的逻辑示意，展示了这种路由网关在后端是如何运作的：

{
  "request": {
    "prompt": "写一个复杂的分布式锁实现",
    "route_strategy": "cost_optimized"
  },
  "router_decision": {
    "initial_attempt": "llama-3-70b", 
    "complexity_score": 0.85,
    "final_route": "claude-3-5-sonnet",
    "reason": "complexity_threshold_exceeded"
  }
}

目前这个工具号称能在维持高水准性能的同时，把成本砍掉一半。而且他们计划后续接入更多模型，比如 Kimi K3 之类的。对于那些每天在 Cursor 里盯着 Token 额度心惊肉跳，或者在部署企业级 Agent 时担心成本失控的开发者来说，这种自动路由方案比自己写一套复杂的判定逻辑要高效得多。