NVIDIA这波操作有点猛，这模型压缩技术简直是推理成本的“救星”

英伟达推出的 Nemotron-Labs-3-Puzzle-75B 研究思路非常硬核。他们没走简单缩减规模的老路，而是玩了一套“迭代拼图（Iterative Puzzle）”的黑科技：先压缩一点，再用蒸馏技术去修复损伤，接着重新评估，循环往复。这种做法比直接一步到位缩减参数要聪明得多，效果稳了很多。

最让我惊讶的是它的推理吞吐量。虽然总参数从120B降到了75B，但因为采用了这种特殊的Mamba-Transformer混合架构，在处理长文本解码任务时，吞吐量居然达到了原版的2.03倍。这意味着在同样的硬件资源下，服务器能承载的用户量直接翻倍了。

对于咱们关注算力和落地成本的人来说，这事儿很有参考价值。在处理长上下文（比如1M context）时，显存占用从70GB降到了44.5GB，单张H100能跑的并发请求直接从1个变成了8个。虽然在计算密集型的Prefill阶段提升没那么夸张，但这种通过架构搜索来压榨硬件极限的做法，确实把“如何让模型更便宜、更好用”这件事做到了极致。