https://blog.jiaqiguo.xyz/tags/%E5%90%8E%E8%AE%AD%E7%BB%83/ Recent content in 后训练 on Jiaqi Hugo zh-cn Mon, 06 Jul 2026 20:13:00 +0800 https://blog.jiaqiguo.xyz/posts/rl-ppo-to-gspo/ Mon, 06 Jul 2026 20:13:00 +0800 https://blog.jiaqiguo.xyz/posts/rl-ppo-to-gspo/ 预训练教模型说话，SFT 教模型听话，但「哪个回答更好」没有标准答案可抄——只能试错加打分。从 PPO 的四模型重装旅，到 DPO 的掀桌极简，再到 GRPO 砍掉裁判、GSPO 把单位对齐到整句：贯穿始终的其实是同一道题——整句的分，怎么摊给每个 token。