后训练 | Jiaqi

一句话掷几个骰子：ms-swift 里 GRPO、GSPO 与 GSPO-token 的三种重要性比

ms-swift 训 GRPO 时有一个不起眼的参数 importance_sampling_level，三个取值 token、sequence、sequence_token 对应 GRPO、GSPO 和 GSPO-token。它们的分歧只在一处：新旧策略的比率按 token 算还是按整句算，梯度顺着比率流到谁身上。这篇用一组真实的 8 条 ASR 采样算优势，用一句四个 token 的例子把三种模式的裁剪和梯度逐个算出来，最后说清楚 sequence_token 在什么情况下才和 sequence 不同。

看过答案的自己教没看过答案的自己：深入浅出 OPSD 在线自蒸馏

做错题后翻答案复盘，是最常见的学习方式；OPSD 把它搬进 LLM：同一个模型，看过参考解的当老师、没看过的当学生，老师在学生自己写的每个 token 上逐字批注。不需要外部大模型，不需要奖励函数，1024 token 的短采样追平 8 × 16k 的 GRPO。这篇拆开它的目标函数、两个稳定器和策略梯度视角，带数字算一遍裁剪到底裁掉了什么，也聊聊后来者的质疑。

教会模型「哪个更好」：深入浅出 PPO、DPO、GRPO 与 GSPO

预训练教模型说话，SFT 教模型听话，但「哪个回答更好」没有标准答案可抄——只能试错加打分。从 PPO 的四模型重装旅，到 DPO 的掀桌极简，再到 GRPO 砍掉裁判、GSPO 把单位对齐到整句：贯穿始终的其实是同一道题——整句的分，怎么摊给每个 token。