运行本地AI需要多少内存?在2011年的处理器上测试7个模型
作者与批准
发布与更新
主要发现
- 我们在没有显卡的2011年 Intel i5-2400 上运行了七个语言模型,它们占用了 2,9 到 8,5 GiB 的内存。
- 更大的模型并没有证明是更好的选择。Qwen 3.5 9B 消耗了两倍于 4B 版本的内存,运行速度更慢,却犯了同样的错误。
- Gemma 4 E2B 的速度最快,但它是唯一一个写出带语法错误代码的模型。
- 在提问时如果没有“AI”这个词,四个模型将向量数据库误认为是代数概念。加上上下文后,全部七个模型都回答正确。
- 七分之四的模型弄错了 NASK 名称的扩展含义。我们不会在未经检查的情况下发布来自本地模型的文本。
我们测试的硬件
这是我们实验室运行的服务器:
- Intel Core i5-2400 处理器:4 核,3.1 GHz,无 AVX2,
- 15 GB DDR3 内存,
- 无用于计算的显卡,
- Ubuntu 26.04 和 Ollama 0.40.7。
每个模型都获得了相同的任务:在无上下文和有上下文的情况下解释概念、给客户写邮件、编写一个简短的 Python 函数,以及根据 OpenAI 与 NASK 合作的新闻写一段话。温度为 0,上下文 4096 个 token,每个任务一次尝试,关闭思考模式。测试期间,服务器上还在运行实验室的其余部分。
测试结果
Model | RAM | Ładowanie | Krótkie odpowiedzi | Akapit z tekstu | Kod |
|---|---|---|---|---|---|
Gemma 4 E2B | 6,3 GiB | 9 s | 8,7 tok/s | 57 s | błąd składni |
Qwen 3.5 4B | 2,9 GiB | 11 s | 5,0 tok/s | 118 s | działa, „kota,” liczy osobno |
Nemotron 3.5 Bolt E4B | 6,6 GiB | 16 s | 4,7 tok/s | 110 s | działa poprawnie |
Qwen 3.5 9B | 5,8 GiB | 18 s | 3,0 tok/s | 181 s | działa, „kota,” liczy osobno |
Ornith 1.5 9B | 5,8 GiB | 16 s | 3,0 tok/s | 207 s | działa poprawnie |
Bielik 11B v2.3 | 7,2 GiB | 18 s | 2,2 tok/s | 314 s | działa, „kota,” liczy osobno |
Ministral 3 14B | 8,5 GiB | 20 s | 1,5 tok/s | 382 s | działa, „kota,” liczy osobno |
模型的段落长度不同,因此时间无法直接对比纯速度。我们在句子“ala ma kota, kota ma ala”上运行了代码。没有任何测试导致交换分区(Swap)增长。
你可以下载测量数据作为 plik CSV (CC BY 4.0)。
我们还尝试了 Granite Switch 4.1 8B。它下载了,但我们的 Ollama 无法通过普通聊天接受它,所以它不在表格中。
什么让我们感到意外
一个词改变了回答。当被问及什么是向量数据库时,Qwen 4B、Qwen 9B、Ornith 和 Bielik 描述的是代数中的空间基。这是另一个问题的正确答案。Nemotron 和 Ministral 直接回答了关于 AI 数据的内容,而 Gemma 则给出了笼统的回答。在添加了“在 AI 系统中”之后,所有七个模型都写出了正确的内容。本地模型在提问时需要上下文。我们在 Słowniku AI 中描述了 AI 的含义。
机构名称证明比摘要更难。来源给出了英文名称 NASK。模型们创造了波兰语的扩展名:“国家科学研究所”、“技术研究研究所”、“国家研究研究所”,而 Ministral 则创造了“看台研究国家研究所”。摘要本身的内容比这些名称更接近来源。
波兰模型速度不快,但没有虚构名称。Bielik 谨慎地写道:“来自波兰的研究机构”。它的段落生成花了一年多时间... 错了,花了一万... 花了 5 分钟以上,所以在这种硬件上,这更像是后台工作。不过,在最后的结论中,它添加了一些自己的内容:关于企业获取 NASK 专长的内容,而源头并未提及。
是否值得购买显卡?
对我们来说目前不值得。之前的测试显示 Gemma 12B Q4 的速度约为 1.2 tok/s,并指出 DDR3 内存是性能瓶颈。当时我们考虑过 GTX 1070,但它 8 GB 的内存不足以支持带有完整上下文的 12B 模型,因此购买被推迟了。
当工作可以等待时,旧处理器就足够了。现在,Ornith 在其上处理 2000 个文本的主题,每个文本约 45 秒,这将需要超过一天的时间。对于与大模型的实时对话来说,这太慢了。
使用哪个模型
- 内存少:Qwen 3.5 4B。
- 看重速度:Gemma 4 E2B,但请检查代码。
- 解释和文本:这是我们测试后会开始尝试的选择:Nemotron 3.5 Bolt E4B。
- 用波兰语且时间无关紧要时:Bielik 11B。值得在自己的文本上对其进行测试。
在 8 GB RAM 的情况下,我们会从 Qwen 4B 开始。超过 6 GiB 的模型可能会太挤,而 Ministral 肯定放不下,但我们没有测试过这种配置。
这个测试没有说明什么
这只是每个任务进行一次测试,在单一计算机上,并且仅使用波兰语。它显示的是具体回答,而不是模型的总体排名。我们没有测试其他上下文大小;更大的上下文会占用更多的内存。
常见问题解答
运行本地AI需要多少内存?
在我们的测试中,仅模型本身就需要 2.9 到 8.5 GiB,上下文为 4096 个 token。除此之外,还需要系统和其他程序的内存。
本地AI可以在没有显卡的情况下运行吗?
可以。在 2011 年的处理器上,我们在短回答中获得了每秒 1.5 到约 9 个 token 的速度。这对于后台任务来说足够了,但对话明显很慢。
哪个模型最快?
Gemma 4 E2B:每秒 8.7 个 token,每段 57 秒。然而,在同一个测试中,它写出了带有语法错误的代码。
更大的模型能给出更好的回答吗?
在这个测试中并非总是如此。Qwen 9B 和 Ministral 14B 比 Qwen 4B 慢,而且它们也弄错了机构名称。
本地模型可以自己写博客文章吗?
经过这次测试,我们不会这么做。七分之四的模型弄错了机构名称。文本在发布前必须经过检查。
来源
本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。
相关文章
今日AI:适合目测阅读。我们如何在一天内重构了 Writer
我们为 Writer 增加了实验室语境并优化了排版,在读者测试中以 13:2 的比分取得了胜利。
今日AI:NVIDIA 6G 与 AMD InferaSim
了解NVIDIA 6G开源工具、AMD InferaSim、欧盟对TikTok的初步裁决以及ASR和BlockLock的最新进展。
小模型对决 Gemini:AI 主题开源分类器的首次尝试
我们构建了 Fiszka 的第一个版本,这是一个 AI 文本主题分类器,并在 262 个手动标注的文本上进行了测试。
今日AI: Google Genie 4 与 Gemini 4 Argon
本文介绍了 Google Genie 4、Gemini 4 Argon、AMD ROCm 10.0.0、Liquid AI LFM3 以及 Anima 医疗自动化的最新进展。