TTS

从 Gen 的 RVQ 音频编码与时间—码本两级生成，到 Realtime 的全双工、边想边说和异步工具调用，拆解 StepAudio 3 系列的架构、训练方法与能力边界。

统一音频模型的老大难：理解要压缩、生成要保真，一份表征两头难讨好。小红书 FireRed 团队的 FireRedAudio 给 9B LLM 配了两副解耦的连续「耳朵」——Whisper 系编码器负责听懂，确定性自编码器 RedAE 负责存声——嘴则是流匹配 DiT，直接吐连续 latent，声学内容全程不过离散 token。MMAU/MMSU 登顶、零样本 TTS 内容错误率最低、语音编辑全面反超，还能把一小时录音整理成秒级时间戳的结构化清单。

复现难、数据糙，是横在开源语音生成面前的两道坎。港中深同一个团队用两篇 SLT 2024 论文各拆一道：Amphion 把散落的模型收进一个分层工具箱，用追平官方指标的 VALL-E 复现立信；Emilia-Pipe 用六步全开源流水线把野生播客洗成 101k 小时、六种语言的数据集，后来喂出了 MaskGCT 和 Vevo。这篇把两份工作连起来读：架构怎么分层、数据怎么清洗、账本怎么算，以及这套基建两年后长成了什么样。

TTS 界也有自己的 bitter lesson：好 tokenizer + 自回归 + 大规模预训练，不堆级联、不请老师。OpenMOSS 在同一套 token、同一份数据上正面对比 Delay Pattern 与 Local Transformer 两种 token 编排——8B 与 1.7B 各擅胜场；数百万小时的清洗流水线加四阶段课程表，让时长控制与拼音控制成了预训练白送的能力。这篇拆解整份技术报告，顺带看懂全家桶与部署生态。

TTS 厂商都说自己「一句话就能控制风格」，但真听懂了吗？复旦 InstructTTSEval 出了三道从具体到抽象的考题——逐项声学参数、自然风格描述、只给角色场景——中英各 1000 题、Gemini 判卷。结果闭源大幅领先开源但都离真人很远，考场花絮更有意思：没有模型会叹气，会笑的只有三家，童声反而是开源赢。

从 IndexTTS 1.0、1.5 到 2 与 2.5：拆开文本 BPE、拼音混合建模、25/50Hz 单码本语音 tokenizer、GPT 式 Text-to-Semantic、flow matching、时长控制与音色—情感解耦，理解这套工业级零样本 TTS 为什么不断重做“中间那层 token”。

TTS 的最后一公里——把 mel 频谱还原成波形——藏着两个物理问题：声音天生周期，而神经网络的激活函数不懂周期；非线性天生产生高频，而数字信号里超标的高频会折回来变成杂音。拆解 NVIDIA BigVGAN 怎么用 Snake 激活＋抗混叠滤波把这两件事做对，112M 大 GAN 训练踩过的坑，以及 v2 换 CQT 判别器、多尺度 mel 损失、CUDA 融合算子后的完全体。

OpenMOSS 把音频 tokenizer 当成大模型来训：纯 Transformer 的 CAT 架构、16 亿参数、300 万小时音频、六项损失端到端一锅端，12.5Hz 帧率下 0.125–4kbps 随意切换，顺手做出第一个打赢非自回归与级联系统的纯自回归 TTS。这篇忠实拆解它的结构细节、训练配方与三组 scaling 实验。

语音 token 是 TTS 的地基，却常被一笔带过。这篇拆开这台『造币厂』：语义 vs 声学的根本矛盾、VQ/RVQ/FSQ 三种量化、把语义塞进第 0 个码本的关键一招，以及『更低帧率、更少码本』的新潮流——从 EnCodec、SpeechTokenizer、Mimi、CosyVoice、X-Codec2 一路看到 Qwen3-TTS 的两个 tokenizer。

又快又稳又像又可控——TTS 的几个目标总在互相拉扯。拆解 Qwen3-TTS 的答卷：双轨 LM 主干、两个各有取舍的语音 tokenizer（25Hz 长文本 vs 12Hz 97ms 首包）、一句话造音色的指令控制，怎么从 Qwen3 权重经三段预训练加 DPO → GSPO 后训练练出来，以及它和 CosyVoice、ElevenLabs 们比起来站在哪。