在 Amazon Bedrock 上选 OpenAI 模型不能只盯着每百万 token

为什么不能用 Token 单价做决策

很多团队在做预算时习惯直接把模型单价填进表格，但实际生产环境买的是「结果」而不是「Token」。比如一个财务摘要，如果便宜模型跑了三次才对，而高性能模型一次就对，那么便宜模型在这次任务上的实际支出反而更高。

更坑的是 Agent 场景。Agent 的工作流是多轮迭代的，每一轮对话都会把之前的上下文全部重新发送一遍。这意味着 Token 消耗是呈指数级增长的，如果模型逻辑能力弱导致轮数增加，账单会瞬间爆炸。

我在测试这些模型时，重点关注的是「正确答案的成本」（Cost per correct answer），计算方式很简单：总花费 / 正确答案数。

实测对比：Bedrock 上的 Luna/Terra/Sol 与 API 端的 Mini/Nano

这次测试涵盖了 Bedrock 上的 gpt-5.6-luna, gpt-5.6-terra, gpt-5.6-sol，以及作为基准的 gpt-5.4-mini 和 gpt-5.4-nano。为了保证对比公平，所有模型都通过同一个 OpenAI Responses API 客户端调用，且 Bedrock 侧全部禁用了 Reasoning（推理）模式。

• 高难度任务（AIME, GPQA Diamond, MMLU-Pro）： 在这些研究生级别或竞赛级题目中，gpt-5.6 系列的正确率明显更高。虽然它们的单价贵，但因为正确率极高，单次获取正确答案的成本反而低于那些需要反复尝试或通过提示词工程死磕的低端模型。
• Agent 轨迹成本： 在实时的 Web 调研任务中，turn count（轮数）是决定费用的核心。低端模型由于指令遵循能力弱，经常在重复步骤中打转，导致发送的 Token 数量激增，这部分隐藏成本在最终账单中非常明显。
• 专业产出质量： 用真实职业交付物（而不是简单的选择题）进行评估，gpt-5.6-luna 在处理复杂专业文档时，其输出质量是专业人士可接受的，而 mini 级别模型在细节严谨性上仍有差距。

如何复现这些结果

如果你想在自己的业务场景验证哪个模型最省钱，不要看官网价格表，建议直接跑一遍基准测试。你可以使用这个开源的测试框架：

# 克隆测试仓库
git clone https://github.com/openai-on-aws/benchmarks-openai

# 安装依赖并配置 API Key
pip install -r requirements.txt
export OPENAI_API_KEY="your_key"
export AWS_ACCESS_KEY_ID="your_id"
export AWS_SECRET_ACCESS_KEY="your_secret"

# 运行针对特定模型的评估脚本
python run_benchmark.py --model gpt-5.6-luna --task aime

注意，测试结果会生成带时间戳的 JSON 文件。你可以对比不同模型的 total_spend 除以 correct_count。

避坑指南与选择建议

根据实操经验，我的建议是：

1. 如果任务是简单的提取或格式化： 直接用 gpt-5.4-nano，成本最低且速度最快。
2. 如果任务涉及多步推理或 Agent 循环： 优先选 gpt-5.6-luna 或 terra。不要试图通过优化 Prompt 来让 mini 模型完成复杂逻辑，因为增加的轮数带来的 Token 成本可能直接抵消掉单价优势。
3. 关于 Bedrock 配置： 记得检查 Reasoning 状态。如果开启了推理，Token 消耗会进一步增加，虽然正确率可能提升，但成本曲线会完全不同。

总的来说，不要被「性价比」这个词欺骗，在 AI 领域，最贵的模型往往是因为它一次就做对了，所以反而是最便宜的方案。