[AI 词汇表][模型][LLM][开源]
模型量化
作者与批准
[AI 撰写] [经人工批准]
更新
03.11.2026
量化是用更少的位数(例如用 4 位代替 16 位)来存储构成模型的数字(权重)。这样一来,模型占用的内存减少了好几倍,运行速度更快,代价是付出轻微的质量损失。
18 GB
16 位的 9B 模型
6,2 GB
4 位的同一个模型
15 GB
我们服务器的内存
这是如何工作的?
- 模型是数十亿个数字(权重)。在训练过程中,每个数字通常占用 16 位,即 2 个字节。
- 因此,16 位的 9B 模型重约 18 GB,无法装入普通的笔记本电脑中。
- 量化将权重四舍五入为较少数量的可能值:8 位是尺寸的一半,4 位大约是三分之一。
- 更好的方法是不均匀地量化层:模型中更重要的部分获得更多的位数,不太重要的部分获得更少的位数。
Q4、Q8 和 K_M 是什么意思?
- Q8: 每个权重 8 位。几乎没有质量损失,但模型很大。
- Q4: 每个权重约 4 位。家用电脑的最常见选择:内存减少几倍,质量损失微乎其微。
- Q3、Q2: 内存更少,但质量明显下降:模型更容易出错并失去上下文。
- K_M、K_S: 采用混合位数的变体方法(M = 中等,S = 小型)。Q4_K_M 是 Ollama 中常见的默认选择。
- GGUF: 包含量化模型的文件格式,由 llama.cpp 和 Ollama 使用。
损失了多少?
在 8 位时,差异通常可以忽略不计;在 4 位时很小;在 3 位和 2 位时则很明显。损失取决于模型和任务:较大的模型比较小的模型能更好地承受量化。这就是为什么 4 位的 9B 模型通常比 16 位的 4B 模型表现更好,尽管它占用的内存更少。
我们的实验室是如何做的?
- 实验室服务器拥有 15 GB 内存且没有显卡。16 位的 9B 模型(约 18 GB)无法装入其中。
- Q4_K_M 中的 Ornith 1.5 9B 在我们这里占用 6.2 GB 内存,每秒生成 3.0 个 token。Q4_K_M 中的 Qwen 3.5 4B 占用 3.1 GB,每秒生成 5.0 个 token。
- 这两个模型的这种形态为我们的主题分类器描述了 2 千篇学术论文。我们在一个单独的测试集上检查了它们的标签与人类标签的一致性。
相关术语
Ollama · 大语言模型 (LLM) · 微调与 RAG · Token和上下文窗口
问答
量化会损坏模型吗?
在 8 位和 4 位时通常不会明显损坏。明显的退化只有在 3 位和 2 位时才能看到,尤其是在小模型中。
选择哪个:Q4 还是 Q8?
如果 Q8 中的模型内存有余量,则选 Q8。如果没有,选 Q4_K_M。通常选择 Q4 中的较大模型比选择 Q8 中的较小模型更好。
我可以自己量化模型吗?
可以,llama.cpp 有相应的工具。通常不需要:流行的模型已经提供几种量化版本,Ollama 会默认下载其中一个。
来源
- llama.cpp, repozytorium (format GGUF i kwantyzacja)
- 实验室:在 i5-2400 上测量模型以及使用 ollama show 测量 B138 分类器模型(2026年11月)
下一步