用 CTD 策略把收敛和多样性解耦能让多目标贝叶斯优化在极低预算下跑赢 SOTA

后端Ray 初级 38分钟前 657 浏览 15 点赞 约 2 分钟

在多目标贝叶斯优化(MOBO)里,最头疼的就是怎么在样本极少的情况下,既能让结果快速逼近 Pareto 前沿(收敛性),又能让解在整个前沿上分布均匀(多样性)。传统的做法是想同时兼顾这两点,但在预算非常紧的时候,这种“既要又要”的策略往往会导致样本点分散,哪个点都没跑到底。arXiv:2609.13396v1 提出的 CTD(Converge-Then-Diversify)方案直接把这两个目标分成了两个阶段跑,先强攻一个点,再向两边铺开,实测在极低预算和高维问题上优势明显。

为什么不能在 MOBO 中同时追求收敛和多样性

大多数 MOBO 算法在搜索时会尝试在驱动解向 Pareto 前沿靠近的同时,维持一个非支配解集的分布。如果你的计算预算足够多,这种方式能让解集逐渐覆盖整个前沿。但现实中很多黑盒函数极其昂贵,样本数被卡得很死。在这种极端环境下,如果算法试图在全局铺开,会导致每个局部区域的探索都不充分,最终得到的解集离真正的 Pareto 前沿都有一段距离。

CTD 的核心逻辑是:既然资源有限,那就先放弃多样性,用尽全力在最短时间内触达前沿上的某一个点,然后再利用这个基准点向两侧扩散,通过解耦来提高效率。

CTD 的两阶段执行流程

这个方法的实现逻辑很简单,不需要复杂的架构调整,直接利用现有的采集函数(Acquisition Functions)分阶段调用即可。

一、收敛阶段(Convergence Stage)
在这个阶段,算法不再考虑分布的广度,而是将所有搜索压力集中在快速接近 Pareto 前沿。目标是迅速找到一个高质量的单点解,将其作为后续扩散的锚点。

二、多样性阶段(Diversify Stage)
一旦确定了前沿的基准位置,算法切换到多样性模式,开始在 Pareto 前沿上进行横向铺开,尽可能覆盖更多的非支配解,从而在保证质量的前提下提升解集的分布范围。

实际测试表现如何

论文在 446 组两两对比实验中验证了这种分段策略的有效性。结果显示,CTD 在 72.9% 的情况下统计学意义上优于目前的 SOTA 方法,21.1% 的情况下表现相当,只有 6.1% 的情况跑输了。

  • 预算极低场景: 这是 CTD 最大的优势区。当样本量少到无法支撑全局搜索时,先收敛再扩散的策略能确保至少拿到几个高质量解。
  • 高维问题: 随着维度增加,搜索空间呈指数级增长,同时追求多样性会导致搜索效率崩塌,而 CTD 的解耦机制能有效缓解这个问题。
对于需要优化多个相互冲突目标且每次实验成本极高的开发者来说,这种“先破局再铺面”的思路比盲目追求平衡要高效得多。如果你的样本预算被限制在极小范围内,建议尝试这种分段采集函数的配置方案。
MOBOBayesian Optimisation

全部回复 (3)

折腾党小雨 中级 30分钟前

早不搞这个晚搞这个,我上个月死磕 q-EI 跑了 50 组样本还没出前沿,心累死了,这 CTD 到底怎么分阶段的?

0 回复
脚本小子阿强 初级 30分钟前

这得在那个切换点上动脑子吧,要是触发条件设得太死,估计直接卡在局部最优出不来,你们试过把阈值调到多少?

0 回复
在深圳设计师 中级 28分钟前

太绝了!我之前用 BoTorch 强行调权重调到崩溃,结果样本全挤在一起,这套分阶段的逻辑要是能跑通,那 10 次迭代以内就能出结果?

0 回复

发表回复

支持 Markdown 格式