近日，北京大学与小米大模型团队联合发表论文，提出多导师在线蒸馏框架MOPD（multi-teacher on-policy distillation），旨在解决大模型在后训练阶段通过强化学习提升特定领域能力时面临的「跷跷板效应」。该方法通过让不同领域的强化学习专家作为「导师」并行独立进行强化学习，随后将这些导师的知识蒸馏给同一个学生模型。实验显示，MOPD相比联合强化学习（mix-rl）等基线在归一化综合得分上提升了5.5个点，达到了0.937，几乎完整保留了各导师的垂直能力。该方案已成功部署于小米工业级大模型MIMO-V2-FLASH（309B）的后训练中。
小米与北大提出MOPD蒸馏框架，告别大模型强化学习「跷跷板效应」
生成海报
分享到:
扫码关注我们，了解最新AI资讯~
扫码关注我们，了解最新AI资讯~