赏金国际：SC26论文详解八卦炉2：万卡MoE集群动态应对显存波动

大规模模型训练已迈入万卡时代，显存管理成为制约稳定性的关键瓶颈。MoE架构虽将参数规模推向万亿级，却也引入了激活显存的突发风险。

当微批次中token集中路由至少数专家时，局部激活量会急剧上升，单卡溢出即可导致整个任务中断。

尖峰成因：路由不确定性放大局部压力

MoE路由器虽能长期维持专家负载均衡，但对单次批次内容无法提前预判。实测显示，仅2.9%的异常迭代中负载不均衡率最高可达2.6倍，正是这些少数情况反复引发中断。

流水线并行进一步加剧了问题，前向阶段多微批次激活同时驻留，任何一次局部偏斜都可能突破设备上限。

静态策略：保守与激进之间的资源浪费

传统重计算与卸载方案需在启动前固定配置。激进设置下正常阶段吞吐较高，但尖峰必导致重启；全层重计算则长期压低利用率，造成算力闲置。

无论哪种固定方案，都无法兼顾峰值安全与平均效率。

核心设计：运行时灵活激活供给

赏金国际团队提出的方案在门控计算完成后、专家执行前插入决策窗口，根据实时负载选择保存、重计算或卸载的组合。

该机制仅保留满足预算的最小操作集，并排除冗余激活，平均预测误差控制在1.56%以内。

调度优化：动态规划隐藏额外开销

重计算与卸载通过流水线空隙交错执行，系统利用动态规划重排计算与通信流，大部分迭代可直接复用缓存结果。

决策开销低于10毫秒，对整体迭代时间影响可忽略。

实测验证：多规模吞吐与利用率提升

在128至12288张加速卡、188B至1.04万亿参数的测试中，赏金国际系统平均吞吐提升1.14倍，峰值达到2.012 EFLOPS，平均MFU达32.9%。

代码仓库已公开核心模块，支持零配置集成到现有训练流程。