https://blog.jiaqiguo.xyz/tags/%E6%8E%A8%E7%90%86/ Recent content in 推理 on Jiaqi Hugo zh-cn Mon, 06 Jul 2026 21:59:00 +0800 https://blog.jiaqiguo.xyz/posts/gguf/ Mon, 06 Jul 2026 21:59:00 +0800 https://blog.jiaqiguo.xyz/posts/gguf/ 在 HuggingFace 见过 xxx.Q4_K_M.gguf 吗？为什么 Ollama 拉一个名字就能在笔记本上跑大模型？拆开 GGUF：单文件的解剖结构、Q4_K_M 这串黑话的读法、块量化的账本，以及它和 vLLM、SGLang、两个 Triton 到底是什么关系。