Wie viel RAM wird für lokales AI benötigt? Test von 7 Modellen auf einem Prozessor aus dem Jahr 2011
Urheberschaft und Freigabe
Veröffentlichung und Aktualisierung
Wichtigste Erkenntnisse
- Wir haben sieben Sprachmodelle ohne Grafikkarte auf einem Intel i5-2400 aus dem Jahr 2011 ausgeführt. Sie belegten zwischen 2,9 und 8,5 GiB Speicher.
- Ein größeres Modell erwies sich nicht als die bessere Wahl. Qwen 3.5 9B belegte doppelt so viel Speicher wie die 4B-Version, arbeitete langsamer und machte dieselben Fehler.
- Am schnellsten war Gemma 4 E2B, schrieb jedoch als einzige einen Code mit Syntaxfehler.
- Ohne das Wort „AI“ in der Frage hielten vier Modelle eine Vektordatenbank für einen Begriff aus der Algebra. Nach dem Hinzufügen des Kontexts antworteten alle sieben korrekt.
- Vier von sieben verwechselten die Langform des Namens NASK. Texte von lokalen Modellen würden wir nicht ohne Überprüfung veröffentlichen.
Worauf wir getestet haben
Dies ist der Server, auf dem unser Labor läuft:
- Intel Core i5-2400 Prozessor: 4 Kerne, 3,1 GHz, ohne AVX2,
- 15 GB DDR3-Arbeitsspeicher,
- keine Grafikkarte für Berechnungen,
- Ubuntu 26.04 und Ollama 0.40.7.
Jedes Modell erhielt dieselbe Aufgaben: Erklärung eines Begriffs ohne und mit Kontext, E-Mail an einen Kunden, kurze Funktion in Python und ein Absatz basierend auf einer Nachricht über die Zusammenarbeit von OpenAI mit NASK. Temperatur 0, Kontext 4096 Token, ein Versuch pro Aufgabe, Think-Modus ausgeschaltet. Während des Tests lief auch der Rest des Labors auf dem Server.
Ergebnisse
Modell | RAM | Laden | Kurze Antworten | Absatz aus Text | Code |
|---|---|---|---|---|---|
Gemma 4 E2B | 6,3 GiB | 9 s | 8,7 Tok/s | 57 s | Syntaxfehler |
Qwen 3.5 4B | 2,9 GiB | 11 s | 5,0 Tok/s | 118 s | funktioniert, „kota,“ zählt separat |
Nemotron 3.5 Bolt E4B | 6,6 GiB | 16 s | 4,7 Tok/s | 110 s | funktioniert korrekt |
Qwen 3.5 9B | 5,8 GiB | 18 s | 3,0 Tok/s | 181 s | funktioniert, „kota,“ zählt separat |
Ornith 1.5 9B | 5,8 GiB | 16 s | 3,0 Tok/s | 207 s | funktioniert korrekt |
Bielik 11B v2.3 | 7,2 GiB | 18 s | 2,2 Tok/s | 314 s | funktioniert, „kota,“ zählt separat |
Ministral 3 14B | 8,5 GiB | 20 s | 1,5 Tok/s | 382 s | funktioniert, „kota,“ zählt separat |
Die Modelle schrieben Absätze unterschiedlicher Länge, weshalb die Zeit nicht die reine Geschwindigkeit vergleicht. Den Code führten wir mit dem Satz „ala ma kota, kota ma ala“ aus. Der Swap wuchs in keinem Test an.
Messdaten können Sie als CSV-Datei (CC BY 4.0) herunterladen.
Wir haben auch Granite Switch 4.1 8B ausprobiert. Es wurde heruntergeladen, aber unsere Ollama hat es über den normalen Chat nicht angenommen, daher taucht es in der Tabelle nicht auf.
Was uns überrascht hat
Ein einziges Wort veränderte die Antwort. Auf die Frage, was eine Vektordatenbank ist, beschrieben Qwen 4B, Qwen 9B, Ornith und Bielik eine Raumdatenbank aus der Algebra. Das ist die korrekte Antwort auf eine andere Frage. Nemotron und Ministral antworteten sofort über Daten für AI, und Gemma allgemein. Nach dem Hinzufügen von „in AI-Systemen“ schrieben alle sieben über die richtige Sache. Ein lokales Modell benötigt Kontext in der Frage. Die Bedeutung im Kontext von AI haben wir im AI-Glossar beschrieben.
Der Name der Institution erwies sich als schwieriger als die Zusammenfassung. Die Quelle nannte den englischen Namen NASK. Die Modelle erstellten polnische Entsprechungen: „Nationales Institut für wissenschaftliche Forschung“, „Institut für technische Forschung“, „Institut für nationale Forschung“ und Ministral „Nationales Institut für Forschung im Tribunal“. Der Inhalt der Zusammenfassungen selbst war näher an der Quelle als diese Namen.
Das polnische Modell war nicht schnell, hat sich den Namen aber nicht ausgedacht. Bielik schrieb vorsichtig „Forschungsinstitut aus Polen“. Sein Absatz entstand in über 5 Minuten, auf dieser Hardware ist das also eher Hintergrundarbeit. Im Schlusserklärung fügte es jedoch etwas von sich hinzu: den Zugang von Unternehmen zur NASK-Expertise, worüber die Quelle nichts erwähnte.
Lohnt sich der Kauf einer Grafikkarte?
Bei uns vorerst nicht. Ein älterer Test zeigte Gemma 12B Q4 bei etwa 1,2 Tok/s und wies auf DDR3-Speicher als Flaschenhals hin. Wir erwogen damals eine GTX 1070, aber deren 8 GB Speicher reichten nicht für das 12B-Modell mit vollem Kontext, weshalb wir den Kauf verschoben haben.
Der alte Prozessor reicht aus, wenn die Arbeit warten kann. Mittlerweile verarbeitet Ornith damit Themen von 2000 Texten, etwa 45 Sekunden pro Text, was über einen Tag dauern wird. Für ein Live-Gespräch mit einem großen Modell ist das zu langsam.
Welches Modell sollte man verwenden
- Wenig Speicher: Qwen 3.5 4B.
- Geschwindigkeit zählt: Gemma 4 E2B, aber überprüfen Sie den Code.
- Erklärungen und Text: Damit würden wir nach diesem Test beginnen: Nemotron 3.5 Bolt E4B.
- Auf Polnisch, wenn Zeit keine Rolle spielt: Bielik 11B. Es lohnt sich, es an eigenen Texten zu testen.
Bei 8 GB RAM würden wir mit Qwen 4B beginnen. Modelle über 6 GiB könnten dort zu eng sein, und Ministral wird ganz sicher nicht passen, aber eine solche Konfiguration haben wir nicht getestet.
Was dieser Test nicht aussagt
Es ist jeweils ein Versuch pro Aufgabe, auf einem Computer und nur auf Polnisch. Er zeigt konkrete Antworten und kein allgemeines Modell-Ranking. Andere Kontextgrößen haben wir nicht überprüft; ein größerer Kontext verbraucht mehr Speicher.
Häufig gestellte Fragen
Wie viel RAM wird für lokales AI benötigt?
In unserem Test von 2,9 bis 8,5 GiB allein für das Modell bei einem Kontext von 4096 Token. Hinzu kommt der Speicher des Systems und anderer Programme.
Funktioniert lokales AI ohne Grafikkarte?
Ja. Auf einem Prozessor aus dem Jahr 2011 erreichten wir 1,5 bis etwa 9 Token pro Sekunde bei kurzen Antworten. Das reicht für Hintergrundaufgaben, aber ein Gespräch verläuft deutlich langsam.
Welches Modell war am schnellsten?
Gemma 4 E2B: 8,7 Token pro Sekunde und 57 Sekunden für einen Absatz. Im selben Test schrieb es jedoch Code mit einem Syntaxfehler.
Bietet ein größeres Modell bessere Antworten?
In diesem Test nicht immer. Qwen 9B und Ministral 14B waren langsamer als Qwen 4B und verwechselten ebenfalls den Namen der Institution.
Kann ein lokales Modell Blogbeiträge selbst schreiben?
Nach diesem Test würden wir das nicht tun. Vier von sieben Modellen verwechselten den Namen der Institution. Der Text muss vor der Veröffentlichung überprüft werden.
Quellen
Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.
Verwandte Beiträge
KI heute für das visuelle Scannen. Wie wir Writer an einem Tag umgebaut haben
Erfahren Sie, wie wir Writer für KI heute durch Labor-Kontext und ein neues scannbares Layout optimiert haben.
KI heute: NVIDIA 6G und AMD InferaSim
Aktuelle Entwicklungen beleuchten NVIDIAs 6G-Tools, AMD InferaSim, TikTok und das Open ASR Leaderboard sowie BlockLock.
Kleines Modell gegen Gemini: Erster Test eines offenen KI-Themenklassifikators
Wir stellen die Version 0.1 unseres offenen KI-Themenklassifikators Fiszka vor und vergleichen seine Leistung mit Gemini.
KI heute: Google Genie 4 und Gemini 4 Argon
Der Artikel beleuchtet technologische Neuheiten wie Google Genie 4, Gemini 4 Argon, AMD ROCm 10.0.0, Liquid AI LFM3 und Anima.