一直在听,也一直在说:深入拆解 Moshi
Kyutai 的 Moshi 是第一个真正实时的全双工语音大模型:Mimi 把声音压成 12.5 Hz 的离散 token,RQ-Transformer 用一大一小两个 Transformer 分担时间与深度,Inner Monologue 让模型先想文字再发声,多流建模直接取消了「轮次」概念,理论时延 160 毫秒。这篇顺着论文和开源代码把每个部件拆开讲透,再看它如何只改一个延迟参数就变身流式 ASR 与 TTS。
Kyutai 的 Moshi 是第一个真正实时的全双工语音大模型:Mimi 把声音压成 12.5 Hz 的离散 token,RQ-Transformer 用一大一小两个 Transformer 分担时间与深度,Inner Monologue 让模型先想文字再发声,多流建模直接取消了「轮次」概念,理论时延 160 毫秒。这篇顺着论文和开源代码把每个部件拆开讲透,再看它如何只改一个延迟参数就变身流式 ASR 与 TTS。
十几个语音对话系统都自称「全双工」,能力却天差地别。这篇 2026 年的综述给出三张地图:双工决策在模型栈哪一层做(L0–L3)、该支持哪些交互(T×I×R 六个试金石)、每一刻系统在干什么(五状态决策状态机),外加数据与评测两笔实证账——从此「是不是全双工」有了结构化的问法。
会议转写不只是听清每句话,还要回答谁在何时说了什么。MOSS Transcribe Diarize 用一条 128k 上下文的自回归序列同时生成文字、说话人和时间戳,并以真实录音与可控模拟对话训练。本文拆解它的任务立意、0.9B 开源架构、时间标尺、数据模拟、三项指标与四组实验,也辨清论文尚未测到的时间戳精度。
四篇论文串起 LLM Agent 的关键问题:ReAct 让推理与行动形成闭环,Toolformer 让模型自监督学习 API 调用,AgentBench 把 agent 放进八种环境考试,AgentBoard 再用进度率和轨迹诊断回答“究竟卡在哪里”。