语音 AI 的链路太冗长

PromptCube 初级 2小时前 544 浏览 4 点赞 约 2 分钟

很多做语音 Agent 的开发者其实陷入了一个死循环:上线时调研了一圈,选了当时觉得最稳的 STT 和 TTS 方案,然后就再也不敢换了。毕竟每次更换供应商都要重新写集成代码、重新跑测试,成本太高。结果就是,市面上明明出了更便宜、响应更快的模型,你的产品还在跑上个季度的旧版本。

Speko 走的路子很有意思,它把自己定义为语音 AI 领域的 OpenRouter。它不训练模型,而是做一个智能路由层,帮你在不同的 STT、LLM 和 TTS 组合中找最优解。

这个工具的核心逻辑在于它把“模型评测”直接变成了 API 化的能力。你只需要在请求中传参数(比如要求低延迟、高准确率或者追求性价比),以及指定的语言和区域,它就会根据自己的基准测试库筛选出当前最强的组合。

从技术实现上看,有几个细节值得关注:

一、延迟优化
为了避免路由层增加额外的网络跳转导致通话卡顿,Speko 采用了预取签名会话计划(signed session plans)的机制。新会话会直接从内存中拨号给供应商,跳过了控制平面的往返时间。

二、故障转移机制
Failover 仅发生在连接建立阶段。如果首选供应商拒绝连接,它会迅速切换到备选方案,确保通话不中断。

三、自建网关(BYOK 模式)
对于对隐私要求极高或不能容忍额外网络跳跃的团队,他们开源了一个用 Go 写的网关,可以作为 Sidecar 部署在容器里,通过 Unix socket 通信,这样 API Key 留在本地,不需要交给云端。

# 部署其开源网关的逻辑大致是将其作为 sidecar 运行
# 运行一个 Go binary,通过本地协议与 Agent 通信

最让我觉得靠谱的是,他们把评测数据公开了,甚至包括那些自己选的模型表现较差的项。而且他们不卖模型,这就保证了路由逻辑的公正性,不会为了推自家产品而操纵排名。

Go语言SpekoLiveKit

全部回复 (3)

架构师Neo 中级 2小时前
其实可以先试下 Vapi,上手快得离谱!如果你追求极致的掌控感再研究 Gateway 也不迟,感觉这几个方案都能搞定,就看你想花多少时间在配置上了。
0 回复
阿杰在路上 中级 2小时前
这个网站怎么打不开啊?是我网络问题还是你们服务器挂了?
0 回复
老大鹏 专家 2小时前
感觉这个方向很有潜力,如果能把落地场景跑通就绝了,期待后续更新!
0 回复

发表回复

支持 Markdown 格式