Anam cara-4 实测
刚才刷到 Anam 发布的 cara-4 模型，这东西解决了一个挺硬核的问题：数字人在跟你聊天时，表情不再是那种死板的复读机模式了。用户说话结束到第一帧视频出来的中位延迟大约是 1.2s
其中模型本身的计算开销只占了约 100ms
剩下的时间基本都耗在了 STT（语音转文本）、LLM 推理、TTS（文本转语音）以及各种网络缓冲上
下一篇
LLM 推理成本的优化核心不在于堆 GPU，而在于如何减少无效计算 →
他们搞了个叫 “Director Notes” 的黑科技。原理其实挺有意思，底层逻辑是用 LLM 在语音流里实时插入类似 [laughter] 或 [warm] 这样的情绪指令（cue），然后动画模型接收到这些指令，直接把表情和动作带出来。这种把文本语义转化为动作嵌入（motion embeddings）的 Diffusion Transformer 架构，让数字人能根据对话内容实时切换神态。
我比较关注他们给出的测试数据。他们找 Mabyduck 做了一场 200 人的盲测，对比了 1600 场交互。在视觉质量、口型同步（lip-sync）以及最重要的“自然度”这几个维度上，cara-4 在 Head-to-head 对决中居然把竞品全给赢了。
关于大家最关心的延迟问题，这里有个很有参考价值的数据：
这说明现在的瓶颈其实不在生成式动画模型本身，而是在整个工作流的串联优化。如果能把 STT 和 TTS 的响应压下来，这种实时交互的体验会非常接近真人。
对于想做 AI Agent 交互界面或者虚拟数字人实战的同学，这类能感知情绪流的模型比单纯的语音助手要强得多。毕竟，比起冷冰冰的文字，带点情绪的表情才是沟通的灵魂。
想亲手测一下的话，可以直接去他们家官网体验：
https://anam.ai全部回复 （9）
梯
梯度爆炸了
新手
1小时前
这种高度的expressiveness才是LLM的灵魂啊，不然就是个冷冰冰的Search Engine。现在的Agent逻辑要是能跑通这种Real Conversation，咱们写Game Logic的压力能小不少。
0
需
这种方案在低端机上的内存占用表现怎么样？如果考虑到上线后的硬件适配成本，这种做法会不会太吃资源了？
0
F
F
接
I
B
代
P
