🌐 · English · 中文 · Español · 한국어 · · 中文 Hub

接着昨天发布的生成速度图表的后续篇。这次是同一模型的各量化版本。本地一个都没跑。下载大小全部是今天从Hugging Face实时文件列表实测的值，质量数字注明出处，引自各model card和公开测评博客。全部模型合计104个构建的文件大小。

1. 格式术语梳理——标签背后装的是什么

2. 各模型量化阶梯（15 种 · 104 个构建）

Qwen3.8-27B

稠密 27.4B · 多模态 · 256K 上下文 · 来源unsloth/Qwen3.8-27B-GGUF

Qwen3.8-Flash-Next (125B)

MoE 125B-A95B 级 · 262K · 分片文件合计实测 · 出处unsloth/Qwen3.8-Flash-Next-GGUF

Qwen3.6-35B-A3B

MoE 35B-A3B · 活跃 3B · 出处unsloth/Qwen3.6-35B-A3B-GGUF

Gemma 4 26B-A4B

MoE 26B-A4B · 128 专家 · QAT 并行训练 · 出处unsloth/gemma-4-26B-A4B-it-GGUF

gpt-oss-20b

MoE 21B-A3.6B · 权重原生 MXFP4 · 来源unsloth/gpt-oss-20b-GGUF

Qwen3-Coder-30B-A3B

MoE 30B-A3B · 编码特化 · 来源unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF

Mistral-Small-3.2-24B

Dense 24B · 出处unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF

DeepSeek-R1-Distill-8B

稠密 8B 蒸馏 · 来源unsloth/DeepSeek-R1-Distill-Llama-8B-GGUF

Phi-4

Dense 14.6B · 来源unsloth/phi-4-GGUF

Llama-3.1-8B

Dense 8B · 来源bartowski/Meta-Llama-3.1-8B-Instruct-GGUF

Ornith-1.5-35B-A3B

MoE 35B-A3B · 新发布（26-08）· 出处ornith-ai/Ornith-1.5-35B-A3B-GGUF

Nemotron-3.5-Lightning-30B-A3B

MoE 30B-A3B · 内置 MTP 头 · 出处ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF

Muse-Glimmer-30B

Dense 30B · Meta 新作（26-08）· 出处meta-models/Muse-Glimmer-30B-GGUF

Laguna-XS-2.1

MoE 34B级·Poolside新作（26-06）·来源ggml-org/Laguna-XS-2.1-GGUF

3. 质量真正崩坏的点

量化质量，在哪里坏、坏多少 — Qwen3.8-27B 实测案例

有测评公开了 BF16 对比:300 个固定任务(pass@1)+ 240 级 agent 阶梯(满分 720 分):

这里最重要的不是最后一行，而是 Q4_K_XL。那个 17.6GB 的构建，相比 BF16在Agent任务上高13分。统计上是平手，却排上了智能体阶梯第一——量化噪声似乎反而让推理路径更多样，不过测评者将其概括为‘无可测退化’。回到推理预算的话题：同一模型 BF16 下，推理关闭 61.3% → 拉满 80.3%，是量化整个区间（±3 分）的 7 倍。除非你是因为 GPU 显存不够才用 Q4，否则把省下的显存用于加长上下文和 thinking 才是划算的。

MoE 更讨厌量化——Gemma 4 26B-A4B 80 种量化 KL 实测

有人用约25万token（编程、聊天、工具调用、科学、非拉丁文字、长文）在6位上传者的80个构建上测量了相对BF16的KL发散。摘要：

• 激活 4B 的 MoE 在 Q8_0 上 KL 已达 0.544——是同档 dense 31B（0.163）的 3.3 倍。MoE 本来就不擅长量化。
• 同为 Q4_K_M,ggml-org 2.126、lmstudio 2.116、bartowski 1.093 —上传者比量化名称更重要.
• 帕累托前沿被 unsloth UD 独占（bartowski Q6_K_L 是一条例外）。
• MoE专用格式MXFP4_MOE（16.6GB，KL 0.963）输给同系列UD-Q4_K_XL（17.0GB，KL 0.747）。

还有测量表明calibration数据决定实际任务表现：同一recipe下，只把calibration数据从code/math换成mixed，KL改善了，GSM8K却再跌9%P。这是「KL改善=任务质量改善」不成立的公开证明。

4. 以我的机器为准的推荐矩阵

大小 vs 内存——用实测记牢的公式

在下载体积之外实际需要的内存大致是：权重 +（按 16K 上下文）KV 1~4GB（用 q8_0 缓存则减半）+ 1~2GB 开销。例：Qwen3.8-27B Q4_K_XL 17.6GB + 16K 上下文 ≈ 20GB → 可装进 24GB 显卡。M5 Max 统一内存的这项会随上下文拉长而变大，所以即使是 128GB 机器，超过 110GB 的构建（Flash-Next Q5 及以上）也扛不住 262K 上下文。昨天图表里 Flash-Next MLX 能维持 59 tok/s，靠的是 4bit+SSD 卸载组合；再高的位宽在这台机器上就是奢侈。

5. 来源与注意事项

来源

• 全部文件大小：unsloth/Qwen3.8-27B-GGUF等 14 个仓库文件列表(2026-09-27 API 实测,分片合计)
• Qwen3.8-27B pass@1 / Agent 阶梯：vramcalculator.com 量化报告（原始出处为 @superalesha 的 300 任务固定测量）
• Qwen3.8-27B KL/top-1 表：AtomicChat/Qwen3.8-27B-GGUF（对比 BF16 基准，留出 87 个 chunk）
• Gemma 4 KL 80 种:localbench.substack.com GGUF Quality Benchmark
• Gemma 4 QAT top-1: SC117/gemma-4-26B-A4B-it-qat-heretic-GGUF模型卡
• HumanEval+/EvalPlus 表：tooltd/Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF
• Unleashed Q3 对比 Q4 PPL/token 速度：outsourc-e/Qwen3.8-27B-Unleashed-GGUF (4090, llama.cpp)

注意：不同测试框架（harness）间的PPL/KL绝对值不可比——只有同一张表内的比较有效（测量者共同声明）。

本页面本地 LLM 中心——我的电脑能跑什么的一部分。各硬件可运行模型表见 hub。