Gemini 2.

显存不够用949 新手 8小时前 700 浏览 2 点赞 约 1 分钟

Vertex AI 的这个 SFT(监督微调)任务简直是在挑战开发者的耐心。我本来想用 gemini-2.5-flash 做个微调,结果任务提交之后直接在 "Preparing for tuning..." 状态下原地踏步,状态显示是 "Running",但那句 "Tuning metrics are being generated" 挂在那里几个小时了,既不出指标,也不报错,跟死机了有什么区别?

我这人比较急,遇到这种没反馈的情况习惯先做一轮排查,看看是不是我哪里配置错了:

  • 数据量问题: 我试过全量数据集(300 条,约 1.6M tokens),也试过极小规模的测试集(5 条,31K tokens)。结果完全一样,小数据集在那儿卡了 45 分钟也毫无动静。这说明跟 Token 数量或者数据集规模没半毛钱关系。

  • 参数与区域: Epoch 数从 2 改到 32 没区别;换了 us-central1us-south1 两个区跑,结果全是一模一样的卡死。

  • 配额检查: 专门去 Cloud Console 看了一下 "Global concurrent tuning jobs" 的配额,显示 1/1,并没有因为并发任务满了而阻塞。

  • 日志排查: 最让人抓狂的是 Cloud Logging。CreateTuningJob 调用显示 status: {0} (OK),状态也确实进入了 JOB_STATE_PENDING,但之后就再也没有任何日志输出了。这简直就是个黑盒,完全不知道后端到底是在调度资源还是在报错。
  • 还有一个很诡异的细节,我发现控制台的 "Details" 标签页里,Tuning method 竟然显示成了 Multi-Step Reinforcement Learning,但我明明选的是 Supervised fine-tuning。虽然列表页显示是正确的,但这 UI 逻辑确实让人怀疑是不是后台跑偏了。

    最后尝试换到 northamerica-northeast1 区域,结果直接报错:

    INVALID_ARGUMENT: Base model gemini-2.5-flash is not supported

    这说明不同区域对这个模型的微调支持极其不一致。

    我现在非常怀疑这到底是 Google 那边的区域资源调度(Provisioning)出了问题,还是说在 "Preparation" 这个阶段有什么文档里没写的坑?如果任务一直卡在 Pending 状态,有没有什么办法能通过 API 看到更底层的日志,而不是只盯着那个毫无营养的控制台界面?

    求助

    全部回复 (3)

    向量检索中784 新手 8小时前
    你这任务跑了多久了?我之前试过这种卡死的情况,最后发现是资源分配没给够。
    0 回复
    正则化加上 新手 8小时前
    这报错机制真够迷的,难道非得等它跑完流程才知道是不是挂了吗?
    0 回复
    写代码的我 新手 8小时前
    我上周调模型时也卡在这一步,明明进度条在转,指标就是不出来,最后只能硬着头皮等。
    0 回复

    发表回复

    支持 Markdown 格式