StepAudio 3 系列拆解:声音怎样生成,模型怎样边听、边想、边说
从 Gen 的 RVQ 音频编码与时间—码本两级生成,到 Realtime 的全双工、边想边说和异步工具调用,拆解 StepAudio 3 系列的架构、训练方法与能力边界。
从 Gen 的 RVQ 音频编码与时间—码本两级生成,到 Realtime 的全双工、边想边说和异步工具调用,拆解 StepAudio 3 系列的架构、训练方法与能力边界。
ms-swift 训 GRPO 时有一个不起眼的参数 importance_sampling_level,三个取值 token、sequence、sequence_token 对应 GRPO、GSPO 和 GSPO-token。它们的分歧只在一处:新旧策略的比率按 token 算还是按整句算,梯度顺着比率流到谁身上。这篇用一组真实的 8 条 ASR 采样算优势,用一句四个 token 的例子把三种模式的裁剪和梯度逐个算出来,最后说清楚 sequence_token 在什么情况下才和 sequence 不同。
做错题后翻答案复盘,是最常见的学习方式;OPSD 把它搬进 LLM:同一个模型,看过参考解的当老师、没看过的当学生,老师在学生自己写的每个 token 上逐字批注。不需要外部大模型,不需要奖励函数,1024 token 的短采样追平 8 × 16k 的 GRPO。这篇拆开它的目标函数、两个稳定器和策略梯度视角,带数字算一遍裁剪到底裁掉了什么,也聊聊后来者的质疑。
预训练教模型说话,SFT 教模型听话,但「哪个回答更好」没有标准答案可抄——只能试错加打分。从 PPO 的四模型重装旅,到 DPO 的掀桌极简,再到 GRPO 砍掉裁判、GSPO 把单位对齐到整句:贯穿始终的其实是同一道题——整句的分,怎么摊给每个 token。