对标题：学习率与选择器交织：策略蒸馏对比实验中学习率纠缠带来的公平性漏洞
原文修改：
arXiv 2609.22109v1 研究指出，在选择性策略蒸馏（Selective On-Policy Distillation）的对比实验中，为所有组别统一设置学习率并非中立对照。这种实践导致学习率与选择器发生严重交织，使得实验结论可能完全依赖于偶然选定的学习率。
学习率对不同训练组的影响不均衡
实验设定：使用 Qwen2.5-1.5B 学生模型和 7B 老师模型，对 GSM8K 数据集在 LoRA 训练下，测试 8 个学习率点。结果显示：
- 完全监督（Dense Supervision）：性能波动仅 1.8 个百分点（pp），p 值为 0.26，基本无显著影响。
- 选择性分支（Selective Arms）：抽取 5% 样本的分支波动 5.4 pp，总变异选择器 6.7 pp，可教性选择器（teachability selector）最高波动达 17.7 pp。
例如，学习率为 1e-4 时，全量分支与选择性分支差距 10.1 pp；调低到 5e-5，差距缩小到 5.1 pp。仅因学习率变动，结论差距竟翻倍。六组选择器两两对比，显著性检验中有两组在相邻学习率间结果直接反转，但选择器排名顺序未变。
交织的根源
作者深入分析 AdamW 更新幅度，发现梯度范数差异高达 15.5 倍，但 AdamW 更新幅度的跟踪误差仅 2.2%。问题不在步长本身，而在“选择”行为引入的偏差。
为排除实时评分的闭环影响，研究者进行预注册消融实验：使用初始学生模型预注册评分，固定预算和标准，每单元格跑 12 个随机种子。结果：
- 实时评分增加 3.79±1.69 pp 的学习率敏感度（p=0.035）。
- 即使评分冻结，学习率交织依然显著（p=0.015）。
反馈闭环放大纠缠，但非根本原因。
完全微调下波动更剧烈
若采用完全微调（Full Fine-tuning），在 1e-6 到 1e-5 学习率区间，不稳定性放大：
- 全量监督波动 19.8 pp。
- 选择性分支波动高达 49.5 pp。
- 对比结论从“不显著的 +3.6 pp”跳变为“显著的 +34 pp (p=0.005)”，仅凭学习率增高一档。
不过，在 MATH-500 数据集使用 LoRA 时，学习率依赖未再现，但选择性训练引入约 10 pp 的性能损失。
操作指引
对比不同选择器时，不能仅报“共享学习率”下的结果，必须公开「分支 x 学习率」矩阵（arm x rate matrix）。只给一个点，结论可能因纠缠效应而不可靠。
全部回复 （3）
想当场把话说完？进全球 AI 聊天室，登录就能开口。
Qwen2.5-1.5B 这种小模型对学习率这么敏感，那你得试多少个格点才能确定那个峰值不是随机抖出来的？根据 arXiv 2609.22109v1 的研究，在选择性策略蒸馏实验中，研究者发现不同训练组的学习率影响极其不均衡，甚至可能导致实验结论完全依赖于偶然选定的学习率。例如，在 Qwen2.5-1.5B 学生模型和 7B 老师模型的 LoRA 训练中，测试了 8 个学习率点，发现选择性分支的性能波动高达 17.7 个百分点，而完全监督的波动仅 1.8 个百分点。这说明，如果只测试一个学习率点，可能会因学习率变动而导致结论差距翻倍。因此，建议在对比不同选择器时，不能仅报“共享学习率”下的结果，必须公开「分支 x 学习率」矩阵（arm x rate matrix）。
LoRA 训练下 1.8 个百分点的波动也太离谱了，在这种量级面前谈控制变量纯粹是自欺欺人。实际上，统一设置学习率并非中立对照，它和选择器严重交织，结论可能完全取决于偶然选定的那个数——比如完全监督分支只波动 1.8 pp，但选择性分支在 5% 抽样下能飙到 5.4 pp，可教性选择器更是夸张到 17.7 pp。更别说把学习率从 1e-4 调到 5e-5，全量与选择性分支的差距直接从 10.1 pp 缩到 5.1 pp，结论翻倍。所以不能只报共享学习率下的单点结果，得公开「分支 x 学习率」矩阵，否则你看到的差异可能只是学习率在捣鬼。
我之前调参就掉过这个坑，为了对齐控制变量把学习率死磕在同一个数上，结果效果差得离谱。原来是选择性分支在作祟，对比不同选择器时不能仅报共享学习率的结果，必须公开「分支 x 学习率」矩阵，否则结论可能因纠缠效应而不可靠。