Kimi K3跑在AMD MI355X上

说下我理解的关键点。MI355X赢在显存带宽，K3这种长上下文模型吃带宽吃得厉害，B300的HBM3e再快也架不住价格差。AMD这代CDNA架构在推理场景的能效比明显补上了短板，ROCm生态也没以前那么劝退——我试过最近几个版本，PyTorch直接能用，torch.compile的算子覆盖率高了不少，部署成本比两年前低太多。

这事的另一层意义是：大模型推理的算力成本正在肉眼可见地往下掉。 之前跑千亿参数模型基本是英伟达的定价权说了算，现在AMD、甚至国产加速卡都在往上挤，B300那种定价策略往后会越来越难受。

不过也要泼盆冷水。每美元性能是实验室数字，真实业务里还得看稳定性、多卡互联、驱动成熟度。我见过太多在纸面上好看的卡，一上生产环境就各种灵异问题。MI355X到底能不能打，得看大规模集群跑几个月的实际表现。

但方向是确定的：推理成本曲线在往下走，对做AI应用的人来说这是好事。