用 CTD 策略把收敛和多样性解耦能让多目标贝叶斯优化在极低预算下跑赢 SOTA
在多目标贝叶斯优化(MOBO)里,最头疼的就是怎么在样本极少的情况下,既能让结果快速逼近 Pareto 前沿(收敛性),又能让解在整个前沿上分布均匀(多样性)。传统的做法是想同时兼顾这两点,但在预算非常紧的时候,这种“既要又要”的策略往往会导致样本点分散,哪个点都没跑到底。arXiv:2609.13396v1 提出的 CTD(Converge-Then-Diversify)方案直接把这两个目标分成了两个阶段跑,先强攻一个点,再向两边铺开,实测在极低预算和高维问题上优势明显。
为什么不能在 MOBO 中同时追求收敛和多样性
大多数 MOBO 算法在搜索时会尝试在驱动解向 Pareto 前沿靠近的同时,维持一个非支配解集的分布。如果你的计算预算足够多,这种方式能让解集逐渐覆盖整个前沿。但现实中很多黑盒函数极其昂贵,样本数被卡得很死。在这种极端环境下,如果算法试图在全局铺开,会导致每个局部区域的探索都不充分,最终得到的解集离真正的 Pareto 前沿都有一段距离。
CTD 的核心逻辑是:既然资源有限,那就先放弃多样性,用尽全力在最短时间内触达前沿上的某一个点,然后再利用这个基准点向两侧扩散,通过解耦来提高效率。
CTD 的两阶段执行流程
这个方法的实现逻辑很简单,不需要复杂的架构调整,直接利用现有的采集函数(Acquisition Functions)分阶段调用即可。
一、收敛阶段(Convergence Stage)
在这个阶段,算法不再考虑分布的广度,而是将所有搜索压力集中在快速接近 Pareto 前沿。目标是迅速找到一个高质量的单点解,将其作为后续扩散的锚点。
二、多样性阶段(Diversify Stage)
一旦确定了前沿的基准位置,算法切换到多样性模式,开始在 Pareto 前沿上进行横向铺开,尽可能覆盖更多的非支配解,从而在保证质量的前提下提升解集的分布范围。
实际测试表现如何
论文在 446 组两两对比实验中验证了这种分段策略的有效性。结果显示,CTD 在 72.9% 的情况下统计学意义上优于目前的 SOTA 方法,21.1% 的情况下表现相当,只有 6.1% 的情况跑输了。
- 预算极低场景: 这是 CTD 最大的优势区。当样本量少到无法支撑全局搜索时,先收敛再扩散的策略能确保至少拿到几个高质量解。
- 高维问题: 随着维度增加,搜索空间呈指数级增长,同时追求多样性会导致搜索效率崩塌,而 CTD 的解耦机制能有效缓解这个问题。
早不搞这个晚搞这个,我上个月死磕 q-EI 跑了 50 组样本还没出前沿,心累死了,这 CTD 到底怎么分阶段的?