MAPPO 任务中观测通道有效性对收敛的影响分析
在 100×100 的网格环境进行 MAPPO 协作训练时，由于智能体视野仅限制在 11×11 局部窗口，目标点随机生成的特性导致观测数据存在严重的稀疏性问题。若无额外引导，模型在大部分时间面对的是无意义的零信号，这直接决定了任务能否收敛。
下一篇
把 GPX 数据喂给 Gemini 生成体育解说，这种 Data-to-Narrative 的逻辑真的能跑通吗？ →
针对此问题，我通过引入 objective beacon 机制进行干预：当目标处于视野外时，在观测窗口边缘绘制指向目标的向量。为验证该特征的工程价值，我执行了严格的消融实验，保持学习率 (1e-3)、折扣因子 ($\gamma$ 0.99) 及 GAE 参数完全一致，仅通过开关 beacon 控制输入通道。
对比实验数据如下：
| 条件 | 成功率 (Success rate) | 目标到达率 (Reach rate) | 平均回报 (Return) | 解决步数 |
|---|---|---|---|---|
| Beacon ON | 0.995 ± 0.010 | 0.998 ± 0.003 | +9.05 ± 0.22 | 43 / 200 |
| Beacon OFF | 0.000 ± 0.000 | 0.105 ± 0.053 | −75.4 ± 3.9 | 200 (超时) |
| Random | 0.00 | 0.10 | −72.8 | 200 |
实验结果表明，缺乏信标引导的模型表现与随机策略无异，其回报值甚至持续走低。在部分可观测 (POMDP) 场景下，特征工程提供的方向梯度远比单纯调整超参数更具决定性。在设计观测空间时，必须确保输入信号具备足够的有效信息熵。
核心逻辑实现参考：
if beacon_enabled:
# 将目标方向向量映射至观测窗口边缘
observation_channel = draw_direction_arrow(agent_pos, goal_pos)
else:
# 目标不在视野内，该通道填充零值
observation_channel = np.zeros_like(target_buffer)更多关于强化学习环境构建的细节，可参考 promptcube3.com 相关文档。
