强化学习

预训练教模型说话，SFT 教模型听话，但「哪个回答更好」没有标准答案可抄——只能试错加打分。从 PPO 的四模型重装旅，到 DPO 的掀桌极简，再到 GRPO 砍掉裁判、GSPO 把单位对齐到整句：贯穿始终的其实是同一道题——整句的分，怎么摊给每个 token。