https://blog.jiaqiguo.xyz/tags/sglang/ Recent content in SGLang on Jiaqi Hugo zh-cn Fri, 24 Jul 2026 15:30:00 +0800 https://blog.jiaqiguo.xyz/posts/gpu-llm-serving-stack/ Fri, 24 Jul 2026 15:30:00 +0800 https://blog.jiaqiguo.xyz/posts/gpu-llm-serving-stack/ 下载一个带 AWQ 或 GPTQ 后缀的模型，里面为什么还是 safetensors？vLLM 与 SGLang 又在优化什么？从 W4A16 的显存账本出发，拆开 GPTQ 的逐列误差补偿、AWQ 的激活感知缩放、safetensors 的文件结构，再沿着加载、内核、KV Cache 和调度一路走到高并发推理服务。