从 4 bit 权重到高并发 API:深入浅出 GPTQ、AWQ、safetensors、vLLM 与 SGLang

下载一个带 AWQ 或 GPTQ 后缀的模型,里面为什么还是 safetensors?vLLM 与 SGLang 又在优化什么?从 W4A16 的显存账本出发,拆开 GPTQ 的逐列误差补偿、AWQ 的激活感知缩放、safetensors 的文件结构,再沿着加载、内核、KV Cache 和调度一路走到高并发推理服务。

2026年7月24日 · 18 分钟 · 8721 字
文字 token 经过神经网络与语义音频 token,最终变成语音波形

从字到声:深入浅出 IndexTTS 系列

从 IndexTTS 1.0、1.5 到 2 与 2.5:拆开文本 BPE、拼音混合建模、25/50Hz 单码本语音 tokenizer、GPT 式 Text-to-Semantic、flow matching、时长控制与音色—情感解耦,理解这套工业级零样本 TTS 为什么不断重做“中间那层 token”。

2026年7月24日 · 18 分钟 · 8993 字

把 90 分钟会议塞进一次生成:深入浅出 MOSS Transcribe Diarize

会议转写不只是听清每句话,还要回答谁在何时说了什么。MOSS Transcribe Diarize 用一条 128k 上下文的自回归序列同时生成文字、说话人和时间戳,并以真实录音与可控模拟对话训练。本文拆解它的任务立意、0.9B 开源架构、时间标尺、数据模拟、三项指标与四组实验,也辨清论文尚未测到的时间戳精度。

2026年7月20日 · 16 分钟 · 7665 字

从会思考、会用工具到会被评测:读懂 ReAct、Toolformer、AgentBench 与 AgentBoard

四篇论文串起 LLM Agent 的关键问题:ReAct 让推理与行动形成闭环,Toolformer 让模型自监督学习 API 调用,AgentBench 把 agent 放进八种环境考试,AgentBoard 再用进度率和轨迹诊断回答“究竟卡在哪里”。

2026年7月19日 · 20 分钟 · 9608 字

一个声码器走天下:深入浅出 BigVGAN

TTS 的最后一公里——把 mel 频谱还原成波形——藏着两个物理问题:声音天生周期,而神经网络的激活函数不懂周期;非线性天生产生高频,而数字信号里超标的高频会折回来变成杂音。拆解 NVIDIA BigVGAN 怎么用 Snake 激活+抗混叠滤波把这两件事做对,112M 大 GAN 训练踩过的坑,以及 v2 换 CQT 判别器、多尺度 mel 损失、CUDA 融合算子后的完全体。

2026年7月17日 · 18 分钟 · 8721 字

当造币厂也开始 scaling:深入浅出 MOSS-Audio-Tokenizer

OpenMOSS 把音频 tokenizer 当成大模型来训:纯 Transformer 的 CAT 架构、16 亿参数、300 万小时音频、六项损失端到端一锅端,12.5Hz 帧率下 0.125–4kbps 随意切换,顺手做出第一个打赢非自回归与级联系统的纯自回归 TTS。这篇忠实拆解它的结构细节、训练配方与三组 scaling 实验。

2026年7月17日 · 16 分钟 · 7967 字

给声音造一张词表:深入浅出语音 tokenizer

语音 token 是 TTS 的地基,却常被一笔带过。这篇拆开这台『造币厂』:语义 vs 声学的根本矛盾、VQ/RVQ/FSQ 三种量化、把语义塞进第 0 个码本的关键一招,以及『更低帧率、更少码本』的新潮流——从 EnCodec、SpeechTokenizer、Mimi、CosyVoice、X-Codec2 一路看到 Qwen3-TTS 的两个 tokenizer。

2026年7月15日 · 27 分钟 · 13224 字

让文字开口:深入浅出 Qwen3-TTS

又快又稳又像又可控——TTS 的几个目标总在互相拉扯。拆解 Qwen3-TTS 的答卷:双轨 LM 主干、两个各有取舍的语音 tokenizer(25Hz 长文本 vs 12Hz 97ms 首包)、一句话造音色的指令控制,怎么从 Qwen3 权重经三段预训练加 DPO → GSPO 后训练练出来,以及它和 CosyVoice、ElevenLabs 们比起来站在哪。

2026年7月9日 · 12 分钟 · 6001 字

一个文件装下一个模型:深入浅出 GGUF

在 HuggingFace 见过 xxx.Q4_K_M.gguf 吗?为什么 Ollama 拉一个名字就能在笔记本上跑大模型?拆开 GGUF:单文件的解剖结构、Q4_K_M 这串黑话的读法、块量化的账本,以及它和 vLLM、SGLang、两个 Triton 到底是什么关系。

2026年7月6日 · 12 分钟 · 5776 字

教会模型「哪个更好」:深入浅出 PPO、DPO、GRPO 与 GSPO

预训练教模型说话,SFT 教模型听话,但「哪个回答更好」没有标准答案可抄——只能试错加打分。从 PPO 的四模型重装旅,到 DPO 的掀桌极简,再到 GRPO 砍掉裁判、GSPO 把单位对齐到整句:贯穿始终的其实是同一道题——整句的分,怎么摊给每个 token。

2026年7月6日 · 21 分钟 · 10117 字