aipoc-lab
/katTech/temEvaluation · Hardware · LLM/typAnalysis

运行本地AI需要多少内存?在2011年的处理器上测试7个模型

作者与批准

[AI 生成内容][经人工批准]

发布与更新

发布: 更新:

主要发现

  • 我们在没有显卡的2011年 Intel i5-2400 上运行了七个语言模型,它们占用了 2,9 到 8,5 GiB 的内存。
  • 更大的模型并没有证明是更好的选择。Qwen 3.5 9B 消耗了两倍于 4B 版本的内存,运行速度更慢,却犯了同样的错误。
  • Gemma 4 E2B 的速度最快,但它是唯一一个写出带语法错误代码的模型。
  • 在提问时如果没有“AI”这个词,四个模型将向量数据库误认为是代数概念。加上上下文后,全部七个模型都回答正确。
  • 七分之四的模型弄错了 NASK 名称的扩展含义。我们不会在未经检查的情况下发布来自本地模型的文本。

我们测试的硬件

这是我们实验室运行的服务器:

  • Intel Core i5-2400 处理器:4 核,3.1 GHz,无 AVX2,
  • 15 GB DDR3 内存,
  • 无用于计算的显卡,
  • Ubuntu 26.04 和 Ollama 0.40.7。

每个模型都获得了相同的任务:在无上下文和有上下文的情况下解释概念、给客户写邮件、编写一个简短的 Python 函数,以及根据 OpenAI 与 NASK 合作的新闻写一段话。温度为 0,上下文 4096 个 token,每个任务一次尝试,关闭思考模式。测试期间,服务器上还在运行实验室的其余部分。

测试结果

Model

RAM

Ładowanie

Krótkie odpowiedzi

Akapit z tekstu

Kod

Gemma 4 E2B

6,3 GiB

9 s

8,7 tok/s

57 s

błąd składni

Qwen 3.5 4B

2,9 GiB

11 s

5,0 tok/s

118 s

działa, „kota,” liczy osobno

Nemotron 3.5 Bolt E4B

6,6 GiB

16 s

4,7 tok/s

110 s

działa poprawnie

Qwen 3.5 9B

5,8 GiB

18 s

3,0 tok/s

181 s

działa, „kota,” liczy osobno

Ornith 1.5 9B

5,8 GiB

16 s

3,0 tok/s

207 s

działa poprawnie

Bielik 11B v2.3

7,2 GiB

18 s

2,2 tok/s

314 s

działa, „kota,” liczy osobno

Ministral 3 14B

8,5 GiB

20 s

1,5 tok/s

382 s

działa, „kota,” liczy osobno

模型的段落长度不同,因此时间无法直接对比纯速度。我们在句子“ala ma kota, kota ma ala”上运行了代码。没有任何测试导致交换分区(Swap)增长。

你可以下载测量数据作为 plik CSV (CC BY 4.0)。

我们还尝试了 Granite Switch 4.1 8B。它下载了,但我们的 Ollama 无法通过普通聊天接受它,所以它不在表格中。

什么让我们感到意外

一个词改变了回答。当被问及什么是向量数据库时,Qwen 4B、Qwen 9B、Ornith 和 Bielik 描述的是代数中的空间基。这是另一个问题的正确答案。Nemotron 和 Ministral 直接回答了关于 AI 数据的内容,而 Gemma 则给出了笼统的回答。在添加了“在 AI 系统中”之后,所有七个模型都写出了正确的内容。本地模型在提问时需要上下文。我们在 Słowniku AI 中描述了 AI 的含义。

机构名称证明比摘要更难。来源给出了英文名称 NASK。模型们创造了波兰语的扩展名:“国家科学研究所”、“技术研究研究所”、“国家研究研究所”,而 Ministral 则创造了“看台研究国家研究所”。摘要本身的内容比这些名称更接近来源。

波兰模型速度不快,但没有虚构名称。Bielik 谨慎地写道:“来自波兰的研究机构”。它的段落生成花了一年多时间... 错了,花了一万... 花了 5 分钟以上,所以在这种硬件上,这更像是后台工作。不过,在最后的结论中,它添加了一些自己的内容:关于企业获取 NASK 专长的内容,而源头并未提及。

是否值得购买显卡?

对我们来说目前不值得。之前的测试显示 Gemma 12B Q4 的速度约为 1.2 tok/s,并指出 DDR3 内存是性能瓶颈。当时我们考虑过 GTX 1070,但它 8 GB 的内存不足以支持带有完整上下文的 12B 模型,因此购买被推迟了。

当工作可以等待时,旧处理器就足够了。现在,Ornith 在其上处理 2000 个文本的主题,每个文本约 45 秒,这将需要超过一天的时间。对于与大模型的实时对话来说,这太慢了。

使用哪个模型

  • 内存少:Qwen 3.5 4B。
  • 看重速度:Gemma 4 E2B,但请检查代码。
  • 解释和文本:这是我们测试后会开始尝试的选择:Nemotron 3.5 Bolt E4B。
  • 用波兰语且时间无关紧要时:Bielik 11B。值得在自己的文本上对其进行测试。

在 8 GB RAM 的情况下,我们会从 Qwen 4B 开始。超过 6 GiB 的模型可能会太挤,而 Ministral 肯定放不下,但我们没有测试过这种配置。

这个测试没有说明什么

这只是每个任务进行一次测试,在单一计算机上,并且仅使用波兰语。它显示的是具体回答,而不是模型的总体排名。我们没有测试其他上下文大小;更大的上下文会占用更多的内存。

常见问题解答

运行本地AI需要多少内存?

在我们的测试中,仅模型本身就需要 2.9 到 8.5 GiB,上下文为 4096 个 token。除此之外,还需要系统和其他程序的内存。

本地AI可以在没有显卡的情况下运行吗?

可以。在 2011 年的处理器上,我们在短回答中获得了每秒 1.5 到约 9 个 token 的速度。这对于后台任务来说足够了,但对话明显很慢。

哪个模型最快?

Gemma 4 E2B:每秒 8.7 个 token,每段 57 秒。然而,在同一个测试中,它写出了带有语法错误的代码。

更大的模型能给出更好的回答吗?

在这个测试中并非总是如此。Qwen 9B 和 Ministral 14B 比 Qwen 4B 慢,而且它们也弄错了机构名称。

本地模型可以自己写博客文章吗?

经过这次测试,我们不会这么做。七分之四的模型弄错了机构名称。文本在发布前必须经过检查。

来源

本文来源清单(JSON) — 基于哪些信号生成、各循环做出了哪些决策,以及人工何时批准。

相关文章

/katTech/temHardware · LLM · Open Source/podBig Tech (pozostałe) · NVIDIA/typNews

今日AI:NVIDIA 6G 与 AMD InferaSim

了解NVIDIA 6G开源工具、AMD InferaSim、欧盟对TikTok的初步裁决以及ASR和BlockLock的最新进展。

/katTech/temHardware · LLM · Multimodal/podBig Tech (pozostałe) · Google/typNews

今日AI: Google Genie 4 与 Gemini 4 Argon

本文介绍了 Google Genie 4、Gemini 4 Argon、AMD ROCm 10.0.0、Liquid AI LFM3 以及 Anima 医疗自动化的最新进展。