[AI 词汇表][模型][LLM][OPEN SOURCE]
Ollama
作者与批准
[AI 撰写] [经人工批准]
更新
03.11.2026
Ollama 是一个免费的开源程序,用于在你的电脑上下载和运行语言模型。模型在本地运行:文本不会流向云端,提问也无需付费。
6,2 GB
我们这里的 9B 模型 RAM
3,0 tok/s
2011 年 CPU 上的 9B 模型
19,5 h
在本地描述的 2 千篇文本
它是如何工作的?
- ollama pull 下载模型,通常已经过压缩(量化),以便它可以放入普通的电脑中。
- ollama run 将模型加载到内存中,并允许在终端中与其对话。
- Ollama 还提供本地 API,因此其他程序可以使用该模型,例如 n8n 中的自动化或自定义脚本。
- 在最后一个问题结束后,模型会在内存中再保留几分钟(默认 5 分钟),以便下一个问题不必等待重新加载。ollama ps 显示已加载的内容,ollama stop 立即释放内存。
需要多少 RAM?
- 实用规则:模型所需的 RAM 大致与其文件大小相当,再加上用于对话的缓冲(上下文窗口)。
- 8 GB RAM:流畅运行约 4B 的模型(B 代表十亿参数)。16 GB RAM:最高可运行约 11B 的模型。
- 显卡不是必需的。没有显卡时,模型依靠 CPU 运行且回答较慢;有显卡时速度会快好几倍。
- 当 RAM 不足时,系统会将部分内存转移到硬盘(交换分区/swap),导致一切大幅变慢,不仅仅是模型。
如何选择模型?
- 任务:对于分类和描述文本,小模型就足够了。对于对话、写作和难题,则需要更大的模型。
- 语言:小模型写波兰语的能力不如英语。波兰语模型(例如 Bielik)在训练时考虑了波兰语。
- 内存:首先检查你有多少 RAM,然后寻找能够留有余地放下的最大模型。
- 许可:Ollama 是免费的,但每个模型都有自己的许可证。用于商业用途时必须阅读许可协议。
我们的实验室是如何做的?
实验室服务器是配备 2011 年 Intel i5-2400、15 GB RAM 且无显卡的设备。在 2026 年 11 月,我们在其上针对几个模型测量了相同的问题:
- Qwen 3.5 4B:占用 3.1 GB RAM,每秒 5.0 个 Token。
- Ornith 1.5 9B:占用 6.2 GB RAM,每秒 3.0 个 Token。
- Bielik 11B:占用 7.7 GB RAM,每秒 2.2 个 Token。
- Ministral 3 14B:占用 9.1 GB RAM,每秒 1.5 个 Token。对话速度太慢,仅够夜间工作使用。
日常工作中,Ollama 使用我们的科学论文来填充自己的主题分类器:Qwen 3.5 4B 在后台无成本地在 19.5 小时内描述了 2 千篇文本。教训:暂停正在提问的程序并没有释放内存,因为 Ollama 仍在计算已经开始的回复。服务器降级使用了交换分区。直到执行 ollama stop,占用的 RAM 才从 12 GB 降至 3 GB。
相关术语
模型量化 · 大语言模型 (LLM) · n8n · Token和上下文窗口
问答
Ollama 是免费的吗?
是的,这是基于 MIT 许可证的开源软件。模型也有自己的许可证,必须单独检查每一个许可证,尤其是用于商业用途时。
我需要显卡才能使用 Ollama 吗?
不需要。模型也可以仅在 CPU 上运行,只是速度较慢。我们所有的测量数据均来自无显卡的电脑。
本地模型能取代 ChatGPT 吗?
在简单、重复的任务中通常可以。在处理困难问题和生成优质波兰语文本时,当今云端的大模型明显更好。
来源
- Ollama, repozytorium i dokumentacja (licencja MIT)
- 实验室:在 i5-2400 上进行模型测试以及 B138 主题分类器测量(2026 年 11 月)
下一步