一个文件装下一个模型:深入浅出 GGUF

在 HuggingFace 见过 xxx.Q4_K_M.gguf 吗?为什么 Ollama 拉一个名字就能在笔记本上跑大模型?拆开 GGUF:单文件的解剖结构、Q4_K_M 这串黑话的读法、块量化的账本,以及它和 vLLM、SGLang、两个 Triton 到底是什么关系。

2026年7月6日 · 8 分钟 · 3719 字