Amazon SageMaker 推理 2026 年更新 13 项功能，托管 Endpoints 与 HyperPod 怎么选

生产环境跑生成式 AI 推理确实头疼，模型动辄几十上百 GB，冷启动时间长得离谱，传统监控工具看不到 token 级别的关键指标。Amazon SageMaker AI 目前提供两种部署路径：完全托管的 Endpoints，适合想把基础设施交给 AWS 搞定的团队；HyperPod Inference，适合需要 Kubernetes 原生控制权的团队。2026 年至今，这两条线一共更新了 13 个新能力。

选托管 Endpoints 还是 HyperPod Inference？

这取决于你对控制权的渴求程度以及运维能力。简单来说，追求快且不想管机器，选 Endpoints；需要深度定制或搞多云/混合云部署，HyperPod 是唯一选择。

• 基础设施： Endpoints 是 AWS 全托管；HyperPod 是基于托管的 Kubernetes 栈。
• 部署手段： Endpoints 走控制台、SDK 或 CLI；HyperPod 除了这些，还支持 kubectl 和 Terraform。
• 扩缩容： Endpoints 靠 Amazon CloudWatch 自动扩缩；HyperPod 则支持 Karpenter、KEDA 和 CloudWatch。
• 定制化程度： Endpoints 只能在容器和模型层改；HyperPod 能直接接触节点层、框架和 AMI。
• API 协议： Endpoints 兼容 OpenAI API；HyperPod 支持 HTTP、gRPC 以及自定义负载均衡。
• 适用场景： 前者适合追求极低运维开销的快速部署，后者适合 K8s 背景、需要从训练到推理一体化部署的场景。

托管 Endpoints 的 7 项 2026 新能力

选择 Endpoints 路径，AWS 帮你处理 GPU 供应、扩缩容和监控，你只需要定义性能目标。今年到目前为止，这方面重点解决了部署速度、容量感知和可观测性问题：

1. 推理建议与基准测试（2026 年 4 月）： 帮你优化模型选择。
2. 容量感知推理 (Capacity Aware Inference)： 解决 GPU 资源紧张时的调度问题。
3. OpenAI API 兼容： 降低了迁移成本。
4. 容器缓存 (Container Caching)： 针对冷启动优化，减少权重传输时间。
5. 可观测性增强： 终于能看到 token 级别的生产信号了。
6. 异步推理内联负载 (Async Inference Inline Payloads)： 简化了异步请求的流程。
7. 前缀感知路由 (Prefix-Aware Routing)： 优化了 KV 缓存的利用率。

HyperPod Inference 的 6 项 2026 新能力

对于需要 K8s 原生控制权的团队，HyperPod 在 2026 年的更新重点在于性能压榨和数据闭环：

• 简化版 Operator： 降低了集群管理复杂度。
• 分层 KV 缓存 (Tiered KV Cache)： 提升长文本处理效率。
• 数据捕获 (Data Capture)： 方便收集推理数据进行后续分析。
• 性能特性增强： 进一步降低推理延迟。
• 预填充与解码分离 (Disaggregated Prefill and Decode)： 这是一个关键优化，将 Prefill 和 Decode 阶段分开处理，能显著提升吞吐量。
• 模型缓存 (Model Caching)： 进一步加速模型加载。

总的来说，2026 年的更新让 SageMaker 在“省事”和“极速”这两个极端之间提供了更明确的选择。如果不需要对节点进行精细化调优，Endpoints 的新功能已经覆盖了绝大多数生产痛点；但如果跑超大规模模型且对延迟极其敏感，HyperPod 的预填充与解码分离等特性非常关键。