语音 AI 的链路太冗长
很多做语音 Agent 的开发者其实陷入了一个死循环:上线时调研了一圈,选了当时觉得最稳的 STT 和 TTS 方案,然后就再也不敢换了。毕竟每次更换供应商都要重新写集成代码、重新跑测试,成本太高。结果就是,市面上明明出了更便宜、响应更快的模型,你的产品还在跑上个季度的旧版本。
Speko 走的路子很有意思,它把自己定义为语音 AI 领域的 OpenRouter。它不训练模型,而是做一个智能路由层,帮你在不同的 STT、LLM 和 TTS 组合中找最优解。
这个工具的核心逻辑在于它把“模型评测”直接变成了 API 化的能力。你只需要在请求中传参数(比如要求低延迟、高准确率或者追求性价比),以及指定的语言和区域,它就会根据自己的基准测试库筛选出当前最强的组合。
从技术实现上看,有几个细节值得关注:
一、延迟优化
为了避免路由层增加额外的网络跳转导致通话卡顿,Speko 采用了预取签名会话计划(signed session plans)的机制。新会话会直接从内存中拨号给供应商,跳过了控制平面的往返时间。
二、故障转移机制
Failover 仅发生在连接建立阶段。如果首选供应商拒绝连接,它会迅速切换到备选方案,确保通话不中断。
三、自建网关(BYOK 模式)
对于对隐私要求极高或不能容忍额外网络跳跃的团队,他们开源了一个用 Go 写的网关,可以作为 Sidecar 部署在容器里,通过 Unix socket 通信,这样 API Key 留在本地,不需要交给云端。
# 部署其开源网关的逻辑大致是将其作为 sidecar 运行
# 运行一个 Go binary,通过本地协议与 Agent 通信最让我觉得靠谱的是,他们把评测数据公开了,甚至包括那些自己选的模型表现较差的项。而且他们不卖模型,这就保证了路由逻辑的公正性,不会为了推自家产品而操纵排名。
事件追踪 · 相关报道
用 Go 语言写 AI 驱动的软件工程其实比 Python 爽得多
6天前
免费 AI 工具箱 · 全部完全免费