低延迟只是及格线:Qwen-Audio-3.1-Realtime 怎么教语音助手想清楚、动手做、知分寸

语音助手能秒回不等于靠得住:它还得记住你一路加的约束、会调工具、看得懂执行反馈、知道什么时候该闭嘴。Qwen-Audio-3.1-Realtime 把这些拆成 Think、Act、Speak and Coordinate 三层:用 M²-OPD 把文本模型的智力搬到耳朵里,用自进化的可执行环境和三种粒度的 GRPO rollout 教它动手,再用一套「怎么说 · 何时说 · 该不该说」的对话策略管住嘴。这篇带公式、带伪代码、带十张图,把技术报告拆开讲一遍。

2026年9月22日 · 28 分钟 · 13724 字

「稍等,我查一下」:深入拆解会调工具的全双工模型 NemotronLabs VoiceChat

全双工语音模型聊天越来越顺,但都不会「办事」:工具调用是暂停—等待—恢复,而全双工的世界没有暂停键。NVIDIA 的 NemotronLabs VoiceChat 11B 是第一个支持工具调用的开源全双工模型:流式编码器加 9B Nemotron Nano v2 加帧同步 TTS,四条通道踩着 80 毫秒的节拍并行推进,第四条通道专门吐 TOOLCALL,等待 API 返回时 agent 还能说一句「稍等,我查一下」。这篇从模型架构、打断机制一路拆到 Triton 加双 vLLM 的推理容器,看全双工怎么从 demo 走向能干活的语音 agent。

2026年8月18日 · 18 分钟 · 8911 字

停顿不等于说完:拆解 8 MB 的开源判停模型 Smart Turn

语音 agent 抢话的根源,是它拿静音时长猜「你说完没」。Pipecat 的 Smart Turn 用一个 8 MB 的模型直接听音频做判断:Whisper Tiny 编码器 + 注意力池化 + 三层分类头,CPU 上十几毫秒出结果,权重、数据、训练代码全部开源。这篇拆它的架构、三代演进、合成数据流水线,以及它在 VAD 之上怎么组成双保险。

2026年8月6日 · 15 分钟 · 7131 字

让 Agent 一边说话,一边干活:深入拆解 qwen-audio-agent

语音助手为什么一调用工具就沉默?qwen-audio-agent 的答案不是再造一个更大的端到端模型,而是把「实时对话」和「后台干活」拆成两条并行流水线:前台 Qwen Audio Realtime 只管听和说,后台任意 ACP Agent 负责执行,中间用 Work 状态机、权限中转和送达确认把两边缝回「同一个助理」。本文基于 0.9.1 源码逐层拆解。

2026年7月29日 · 28 分钟 · 13993 字

从会思考、会用工具到会被评测:读懂 ReAct、Toolformer、AgentBench 与 AgentBoard

四篇论文串起 LLM Agent 的关键问题:ReAct 让推理与行动形成闭环,Toolformer 让模型自监督学习 API 调用,AgentBench 把 agent 放进八种环境考试,AgentBoard 再用进度率和轨迹诊断回答“究竟卡在哪里”。

2026年7月19日 · 20 分钟 · 9608 字