一个文件装下一个模型:深入浅出 GGUF
在 HuggingFace 见过 xxx.Q4_K_M.gguf 吗?为什么 Ollama 拉一个名字就能在笔记本上跑大模型?拆开 GGUF:单文件的解剖结构、Q4_K_M 这串黑话的读法、块量化的账本,以及它和 vLLM、SGLang、两个 Triton 到底是什么关系。
在 HuggingFace 见过 xxx.Q4_K_M.gguf 吗?为什么 Ollama 拉一个名字就能在笔记本上跑大模型?拆开 GGUF:单文件的解剖结构、Q4_K_M 这串黑话的读法、块量化的账本,以及它和 vLLM、SGLang、两个 Triton 到底是什么关系。