Modellquantisierung
Urheberschaft und Freigabe
[Mit KI geschrieben] [Von einem Menschen freigegeben]
Aktualisiert
03.11.2026
Quantisierung ist die Speicherung der Zahlen, aus denen ein Modell besteht (Gewichte), mit einer geringeren Anzahl von Bits, z. B. 4 statt 16. Das Modell beansprucht dann ein Vielfaches weniger Speicher und arbeitet schneller, auf Kosten eines geringen Qualitätsverlusts.
18 GB
9B-Modell in 16 Bit
6,2 GB
dasselbe Modell in 4 Bit
15 GB
RAM unseres Servers
Wie funktioniert das?
- Ein Modell besteht aus Milliarden von Zahlen (Gewichten). Beim Training belegt jede normalerweise 16 Bit, also 2 Byte.
- Ein 9B-Modell in 16 Bit wiegt daher ca. 18 GB und passt nicht in einen gewöhnlichen Laptop.
- Die Quantisierung rundet die Gewichte auf eine kleinere Anzahl möglicher Werte ab: 8 Bit ist die Hälfte der Größe, 4 Bit etwa ein Drittel.
- Bessere Methoden quantisieren Schichten ungleichmäßig: wichtigere Teile des Modells erhalten mehr Bits, weniger wichtige weniger.
Was bedeuten Q4, Q8 und K_M?
- Q8: 8 Bit pro Gewicht. Fast ohne Qualitätsverlust, aber das Modell ist groß.
- Q4: ca. 4 Bit pro Gewicht. Die häufigste Wahl für den Heimcomputer: ein Bruchteil des Speichers, geringer Qualitätsverlust.
- Q3, Q2: noch weniger Speicher, aber die Qualität sinkt deutlich: das Modell irrt sich häufiger und verliert den Faden.
- K_M, K_S: Varianten der Methode mit gemischter Bitanzahl (M = mittel, S = klein). Q4_K_M ist eine häufige Standardwahl in Ollama.
- GGUF: Dateiformat mit dem quantisierten Modell, das von llama.cpp und Ollama verwendet wird.
Wie viel geht verloren?
Bei 8 Bit ist der Unterschied meist unmerklich, bei 4 Bit gering und bei 3 und 2 Bit deutlich. Der Verlust hängt vom Modell und der Aufgabe ab: Ein größeres Modell verträgt die Quantisierung besser als ein kleineres. Daher schneidet ein 9B-Modell in 4 Bit meist besser ab als ein 4B-Modell in 16 Bit, obwohl es weniger Speicher beansprucht.
Wie macht das unser Labor?
- Der Labor-Server hat 15 GB RAM und keine Grafikkarte. Ein 9B-Modell in 16 Bit (ca. 18 GB) würde darauf nicht passen.
- Ornith 1.5 9B in Q4_K_M belegt bei uns 6,2 GB RAM und schreibt 3,0 Token pro Sekunde. Qwen 3.5 4B in Q4_K_M belegt 3,1 GB und schreibt 5,0 Token pro Sekunde.
- Beide Modelle in dieser Form haben je 2 Tsd. wissenschaftliche Arbeiten für unseren Themenklassifikator beschrieben. Die Übereinstimmung ihrer Labels mit den menschlichen Labels überprüfen wir an einem separaten Testdatensatz.
Verwandte Begriffe
Ollama · Großes Sprachmodell (LLM) · Fine-Tuning oder RAG · Token und Kontextfenster
Fragen und Antworten
Beschädigt die Quantisierung das Modell?
Bei 8 und 4 Bit meist unbedeutend. Eine deutliche Verschlechterung zeigt sich erst bei 3 und 2 Bit, insbesondere bei kleinen Modellen.
Was wählen: Q4 oder Q8?
Wenn das Modell in Q8 mit Reserve in den Speicher passt, Q8. Wenn nicht, Q4_K_M. Normalerweise ist es besser, ein größeres Modell in Q4 zu nehmen als ein kleineres in Q8.
Kann ich ein Modell selbst quantisieren?
Ja, llama.cpp hat ein Tool dafür. Normalerweise ist das nicht nötig: beliebte Modelle sind bereits in mehreren Quantisierungsversionen verfügbar, und Ollama lädt standardmäßig eine davon herunter.
Quellen
- llama.cpp, repozytorium (format GGUF i kwantyzacja)
- Labor: Messung der Modelle auf i5-2400 und ollama show für Modelle des Klassifikators B138 (November 2026)
Weiter