语音

Moshi 为全双工改了架构——双 Transformer、声学延迟、17 条并行流；阿里通义实验室的 OmniFlatten 反其道而行：标准 GPT 一行不改，把用户和助手的语音、文字全部摊平进一条序列，用「模态对齐 → 半双工 → 全双工三流 → 两流」四步课程渐进逼近全双工。0.5B 的 Qwen2 底座、全合成的对话数据、块级交错的伪并行——这篇拆解它的每一步取舍，包括那个诚实的负结果：去掉文字流，语义就崩。

与 Moshi 几乎同时，上海交大 X-LANCE 与字节跳动的 LSLM 用一个 106M 参数的小模型回答了一个最小问题：模型能不能一边说话一边听？说话通道是单码本的 token TTS，听觉通道是流式 SSL 的连续嵌入，词表里加一个 IRQ token 表示「我被打断了」。三种融合位置的对比给出干净结论：early 毁掉语音生成、late 分不清噪声与人声、middle 恰到好处——这篇把这个全双工的解剖标本拆开讲透。

Kyutai 的 Moshi 是第一个真正实时的全双工语音大模型：Mimi 把声音压成 12.5 Hz 的离散 token，RQ-Transformer 用一大一小两个 Transformer 分担时间与深度，Inner Monologue 让模型先想文字再发声，多流建模直接取消了「轮次」概念，理论时延 160 毫秒。这篇顺着论文和开源代码把每个部件拆开讲透，再看它如何只改一个延迟参数就变身流式 ASR 与 TTS。

十几个语音对话系统都自称「全双工」，能力却天差地别。这篇 2026 年的综述给出三张地图：双工决策在模型栈哪一层做（L0–L3）、该支持哪些交互（T×I×R 六个试金石）、每一刻系统在干什么（五状态决策状态机），外加数据与评测两笔实证账——从此「是不是全双工」有了结构化的问法。

语音助手为什么一调用工具就沉默？qwen-audio-agent 的答案不是再造一个更大的端到端模型，而是把「实时对话」和「后台干活」拆成两条并行流水线：前台 Qwen Audio Realtime 只管听和说，后台任意 ACP Agent 负责执行，中间用 Work 状态机、权限中转和送达确认把两边缝回「同一个助理」。本文基于 0.9.1 源码逐层拆解。

从 IndexTTS 1.0、1.5 到 2 与 2.5：拆开文本 BPE、拼音混合建模、25/50Hz 单码本语音 tokenizer、GPT 式 Text-to-Semantic、flow matching、时长控制与音色—情感解耦，理解这套工业级零样本 TTS 为什么不断重做“中间那层 token”。

会议转写不只是听清每句话，还要回答谁在何时说了什么。MOSS Transcribe Diarize 用一条 128k 上下文的自回归序列同时生成文字、说话人和时间戳，并以真实录音与可控模拟对话训练。本文拆解它的任务立意、0.9B 开源架构、时间标尺、数据模拟、三项指标与四组实验，也辨清论文尚未测到的时间戳精度。

TTS 的最后一公里——把 mel 频谱还原成波形——藏着两个物理问题：声音天生周期，而神经网络的激活函数不懂周期；非线性天生产生高频，而数字信号里超标的高频会折回来变成杂音。拆解 NVIDIA BigVGAN 怎么用 Snake 激活＋抗混叠滤波把这两件事做对，112M 大 GAN 训练踩过的坑，以及 v2 换 CQT 判别器、多尺度 mel 损失、CUDA 融合算子后的完全体。

OpenMOSS 把音频 tokenizer 当成大模型来训：纯 Transformer 的 CAT 架构、16 亿参数、300 万小时音频、六项损失端到端一锅端，12.5Hz 帧率下 0.125–4kbps 随意切换，顺手做出第一个打赢非自回归与级联系统的纯自回归 TTS。这篇忠实拆解它的结构细节、训练配方与三组 scaling 实验。

语音 token 是 TTS 的地基，却常被一笔带过。这篇拆开这台『造币厂』：语义 vs 声学的根本矛盾、VQ/RVQ/FSQ 三种量化、把语义塞进第 0 个码本的关键一招，以及『更低帧率、更少码本』的新潮流——从 EnCodec、SpeechTokenizer、Mimi、CosyVoice、X-Codec2 一路看到 Qwen3-TTS 的两个 tokenizer。