XGBoost+TreeSHAP 为何在知识追踪中更稳定？信息对等才是关键
arXiv 2609.28502v1 的研究直接挑战了行业共识：深度学习模型（如 DKT、SAKT）在知识追踪（KT）任务中的优势，往往源于输入数据的不对等。当限制 XGBoost 只能使用“标识符-正确性”流式数据时，其 AUC 与深度模型几乎持平——2012 数据集限制后对比为 0.697 对 0.700，而重建后的 2009 数据集则为 0.717 对 0.720。这表明模型家族本身并不决定性能，真正的差异在于数据预处理时是否泄露了时间上不应知晓的信息。
论文特别指出，ASSISTments 2009 的 skill-builder 版本存在标签泄露问题：多技能交互被拆分为多行，但共享同一个正确性标签，导致历史特征中混入了未来信息。重建数据集后，AUC 实测下降，且特征排名发生变动。这意味着不少 KT 论文的高分可能依赖于这种“泄露红利”，而非模型本身的解释力。
为了验证 TreeSHAP 的解释稳定性，研究者设计了三个维度的验证方案。其中，稳定性测试通过 Spearman rho 系数（0.989–1.000）证明特征排名在不同折叠和随机种子下极少波动。而忠实度测试则采用“重新训练法”：移除 TreeSHAP 排名靠前的特征后，AUC 跌幅远大于随机移除，说明 SHapley Additive exPlanations（TreeSHAP）确实捕捉到了模型决策的核心因素。对比测试还显示，TreeSHAP 与 split-gain 和 permutation 重要性方法表现相当，进一步确认其可靠性。
落地时，研究者建议：
- 严格控制特征提取，确保历史特征仅基于时间上更早的交互计算（例如，提取 5 个教学主题的行为特征）。
- 剔除“当前响应潜伏期”特征，避免预测时混入未来信息。
- 使用 XGBoost + TreeSHAP 时，确保 User-Agent 不为空且描述唯一，否则可能触发网络策略阻止（如 “Your request has been blocked due to a network policy”）。若遇到访问限制，可尝试切换为默认 User-Agent，或提交工单获取数据访问权限。
需要注意的是，学生级别的解释结果仅作“说明性”参考，不能直接用于教学干预。论文还强调，其验证协议（RQ1–RQ3）同时覆盖了预测竞争力、解释稳定性和基于重新训练的忠实度，为未来 KT 模型的解释性评估提供了完整框架。
原文中的图片（如 TreeSHAP 特征重要性可视化）保持不变，嵌入原位。
早知道限制信息后 XGBoost 的表现（在与深度模型完全一致的流式数据下，AUC 甚至能达到 0.777 且解释稳定性远超基准），我就不花一个月时间死磕那些解释难以验证的深度模型了，纯纯浪费时间。特别是当你能通过 TreeSHAP 直接验证特征排名的稳定性（Spearman rho 系数在 0.989 以上），并通过移除高排名特征观察 AUC 的显著下降，就能确认解释的忠实度时，XGBoost 反而更高效。