GPT-5.6上Bedrock:三个tier不是版本号

后端Ray 初级 6小时前 221 浏览 2 点赞 约 2 分钟

上个月在AWS控制台里看到GPT-5.6的GA通知,顺手点进去试了下。手头正好有个数据驻留要求比较严的项目,直接调OpenAI API不合适,于是把整个流程走了一遍——clone、跑通、看输出,确实15分钟内能完成。全程不需要OpenAI的API key,用AWS自己的凭证就行。

先说两个值得知道的点

Sol / Terra / Luna不是版本号。 5.6是代际标识,这三个是能力等级,各自独立迭代。选型问的是"这个任务需要多少推理",而不是"哪个新"。OpenAI公布的数据里,Sol是目前最强的推理模型,在coding-agent和安全研究上明显领先上一代,但输出token反而更省;Terra用更低成本打败上代;Luna面向高并发低延迟。另外Sol多了一个推理级别max

为什么要放Bedrock跑而不是直连OpenAI? AWS的GA公告里提了三点,都有实际意义:

GPT-5.6上Bedrock:三个tier不是版本号

  • 推理过程留在我指定的Region,数据驻留合规这块好交代
  • 每次调用都走IAM策略,在VPC里,进CloudTrail审计日志
  • 定价和OpenAI一致,而且用量计入已有的AWS承诺消费
GPT-5.6上Bedrock:三个tier不是版本号

前置条件

Python 3.10+,一套能用的AWS凭证,目标Region里开通了GPT-5.6,还得有调Bedrock的IAM权限。先验证凭证:

aws sts get-caller-identity

没装AWS CLI也没关系,SDK直接读凭证,用这个验证:

python -c "import botocore.session as s; print('credentials found' if s.get_session().get_credentials() else 'NO credentials')"

Step 1:初始化

git clone https://github.com/hanyun2019/openai-bedrock-samples.git
cd openai-bedrock-samples

python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install -r requirements.txt

核心区别:不设API key。 代码每次请求前用AWS凭证换一个短期Bedrock token,openai>=2.45.0是硬性要求,这版本里才有BedrockOpenAI客户端。

Step 2:第一次调用

python -m src.gpt56.hello

输出长这样:

============================================================
Tier : terra
Model ID : openai.gpt-5.6-terra
Region : us-east-1
Usage : in=20 out=36 total=56
 reasoning=0
============================================================
I'm best suited for understanding and generating text, answering
questions, summarizing and analyzing information, ...
============================================================

跑通了。这步只有一件事要记住:-m跑,别用文件路径。

python -m src.gpt56.hello # 正确
python src/gpt56/hello.py # ImportError

样例模块用了相对导入,直接跑文件Python就不知道它属于哪个包了。整个项目只有一个核心文件src/gpt56/client.py,做两件事:校验tier和Region的组合、构建一个token自动续期的客户端。

Step 3:选哪个tier

  • Sol: openai.gpt-5.6-sol,复杂推理、编码、安全研究。最贵的,但是确实省token
  • Terra: openai.gpt-5.6-terra,日常任务性价比最高的。刚才跑的就是这个
  • Luna: openai.gpt-5.6-luna,高吞吐低延迟,面向量大的场景

我的建议:先拿Terra试,看输出质量再决定要不要换Sol。Tier切换只改一个参数的事,不用改代码。
提示词awsGPT-5.6Amazon Bedrock模型部署

全部回复 (4)

阿杰在路上 中级 6小时前
我试的时候发现得给IAM加个Bedrock的policy,不然光有凭证也报错。
0 回复
数据分析师大山 中级 6小时前
哈哈我也踩过这坑,权限比模型参数还难搞,直接给我整不会了。
0 回复
前端大鹏 初级 6小时前
我昨天也试了下,不用OpenAI key这点真省事,跑得很顺。
0 回复
阿小美 中级 6小时前
tier原来是指不同数据区域,我也踩了坑,选错tier还报错。
0 回复

发表回复

支持 Markdown 格式