GGUF 量化档位与 CPU/混合推理

一句话定义

GGUF 是 llama.cpp 的单文件模型容器（权重+分词器+元数据），其 K-quant 档位（Q2_K 到 Q8_0）是端侧 W4/W8 量化的工程化落地；CPU 或混合推理的速度由内存带宽与权重字节数决定，估算公式与云端 decode 相同。

为什么重要

GGUF 是今天下载量最大的开源量化格式族——Hugging Face 上绝大多数本地模型都是它；Q4_K_M 这类档位名的含义、"为什么 4B Q4 在我的笔记本只有 20 tokens/s"，是端侧实践中被问得最多的两个问题。读懂本页就能自主回答它们。

前置知识

• kp-006（分组量化机制——K-quant 是它的变体）、kp-003（decode 带宽公式）。

• 内存带宽概念：DDR5 双通道理论约 80GB/s、有效约 40–60；Apple M 系列统一内存 100–400GB/s。

核心概念

• GGUF 容器：单文件打包权重（分块量化）、tokenizer、chat template 与元数据，mmap 友好（kp-025）。

• 量化档位谱系：Q8_0（8-bit，近无损）、Q6_K、Q5_K_M、Q4_K_M（甜点档：混用不同块类型，重要张量精度略高）、Q3_K、Q2_K（激进，易崩）、IQ 系列（重要性感知的更低位宽）。_M/_S/_L 表示同族内的混精度配比。

• K-quant 机制：把权重按超块组织，块内再分小组配 scale，按张量重要性混用不同位宽——kp-006 分组思想的花式实现。

• 混合推理（GPU offload）：-ngl N 把前 N 层放到 GPU，其余留 CPU——显存不够时"部分加速"的实用技巧；笔记本场景常见 30–80% 层上卡。

• 服务形态：llama-server 提供 OpenAI 兼容 HTTP 接口，本地起服务与云端代码无缝切换。

原理与机制

K-quant 是 kp-006 分组量化思想的具体化：权重按超块组织，块内再分小组各配 scale，并按张量重要性混用不同位宽（这就是档位名里 M/S/L 的含义）。速度端则与云端 decode 同构——纯 CPU 推理是纯粹的带宽问题，权重字节流以多快的速度从内存进入计算单元，就有多快；GPU offload（-ngl）只是把部分层的读取换成更宽的显存带宽。

公式与模型

CPU decode 速度估算（与 kp-003 同构，把 HBM 带宽换成内存带宽）：

可复现例：4B 模型 Q4_K_M 权重约 2.4GB，DDR5 有效带宽 50GB/s → TPOT ≈ 48ms → 约 21 tokens/s；同权重在 Apple M2（统一内存 100GB/s）→ 约 40 tokens/s。与实测偏差通常在 20% 内——足够用来做买机器/选模型决策。

实践步骤（可执行操作）

1. ollama pull 或从可信源下载目标档位 GGUF（核对模型与量化名）。

1. 起服务：llama-server -m model.Q4_K_M.gguf -c 8192 -ngl 99 --host 127.0.0.1 --port 8080（-c 上下文、-ngl 卸载层数，纯 CPU 用 -ngl 0）。

1. 实测三件套：TTFT、TPOT、内存峰值（活动监视器/任务管理器），连续生成 10 分钟看热节流衰减。

1. 档位对照：先 Q4_K_M；精度不满意升 Q5_K_M/Q6_K；内存不够降 Q3_K_M 并重测任务指标（kp-009 验收纪律）。

1. 线程调优：物理核数为准（超线程收益递减），内存带宽饱和后加线程无效。

排错清单

• 加载即 OOM：上下文 -c 太大（KV 也占内存）→ 减半试；或换更低位宽档位。

• 速度远低于估算：确认权重在 SSD 而非网络盘、mmap 未被换出、线程未设超物理核。

• 输出乱码：档位损坏或 chat template 不匹配 → 校验文件哈希、用 --chat-template 指定。

• 混合推理更慢：卸载层数跨过带宽边界（CPU-GPU 往返）→ 二分调整 -ngl。

实例或案例

同一份 7B Q4_K_M（约 4.1GB）在不同内存子系统上的实测：Apple M2 Air（统一内存约 100GB/s）约 22–24 tokens/s，与估算 100/4.1≈24 吻合；DDR4 台式机（有效带宽约 30GB/s）只有约 7 tokens/s。同一文件、速度差 3 倍，唯一变量是内存带宽——这正是"端侧先看带宽、再看算力"的选型依据。

常见误区

• "Q2 省内存一定值得"：2-bit 级精度损失常导致任务崩坏，先跑任务评测再决定（kp-009）。

• "线程拉满更快"：CPU 推理是带宽瓶颈，超过物理核后线程互相抢带宽，反而变慢。

• "档位名=质量保证"：同名档位对不同模型伤害不同（小模型对低位宽更敏感），验收不可省。

自测题

1. 估算 7B Q4_K_M（约 4.1GB）在有效带宽 60GB/s 内存的纯 CPU 速度。

要点：60/4.1 ≈ 14.6 tokens/s（TPOT 约 68ms）。

1. -ngl 的语义是什么？什么场景用中间值？

要点：卸载到 GPU 的层数；显存不足以放全部层时用中间值做混合推理。

1. 为什么 Q4_K_M 是甜点档？

要点：K-quant 混精度在 4-bit 级位宽下把关键张量保得更高，精度/体积权衡最优。

与其他知识点的关系

量化机制源于 kp-006、验收方法沿用 kp-009、速度公式与 kp-003 同构；载体与内存管理见 kp-025。

延伸阅读

llama.cpp 仓库内 GGUF 规范与量化类型说明（按需查阅最新档位表）。