Kwantyzacja modelu
Autorstwo i zatwierdzenie
[Napisane z AI] [Zatwierdzone przez człowieka]
Aktualizacja
03.11.2026
Kwantyzacja to zapisanie liczb, z których składa się model (wag), mniejszą liczbą bitów, np. 4 zamiast 16. Model zajmuje wtedy kilka razy mniej pamięci i działa szybciej, kosztem niewielkiej utraty jakości.
18 GB
model 9B w 16 bitach
6,2 GB
ten sam model w 4 bitach
15 GB
RAM naszego serwera
Jak to działa?
- Model to miliardy liczb (wag). Przy treningu każda zajmuje zwykle 16 bitów, czyli 2 bajty.
- Model 9B w 16 bitach waży więc ok. 18 GB i nie zmieści się w zwykłym laptopie.
- Kwantyzacja zaokrągla wagi do mniejszej liczby możliwych wartości: 8 bitów to połowa rozmiaru, 4 bity to mniej więcej jedna trzecia.
- Lepsze metody kwantują warstwy nierówno: ważniejsze części modelu dostają więcej bitów, mniej ważne mniej.
Co znaczą Q4, Q8 i K_M?
- Q8: 8 bitów na wagę. Prawie bez straty jakości, ale model jest duży.
- Q4: ok. 4 bity na wagę. Najczęstszy wybór do domowego komputera: kilka razy mniej pamięci, niewielka strata jakości.
- Q3, Q2: jeszcze mniej pamięci, ale jakość spada wyraźnie: model częściej się myli i gubi wątek.
- K_M, K_S: odmiany metody z mieszaną liczbą bitów (M = średnia, S = mała). Q4_K_M to częsty domyślny wybór w Ollamie.
- GGUF: format pliku z kwantyzowanym modelem, którego używają llama.cpp i Ollama.
Ile się traci?
Przy 8 bitach różnica jest zwykle niezauważalna, przy 4 bitach niewielka, a przy 3 i 2 bitach wyraźna. Strata zależy od modelu i zadania: większy model znosi kwantyzację lepiej niż mały. Dlatego model 9B w 4 bitach zwykle wypada lepiej niż model 4B w 16 bitach, choć zajmuje mniej pamięci.
Jak to robi nasz lab?
- Serwer labu ma 15 GB RAM i nie ma karty graficznej. Model 9B w 16 bitach (ok. 18 GB) by się na nim nie zmieścił.
- Ornith 1.5 9B w Q4_K_M zajmuje u nas 6,2 GB RAM i pisze 3,0 tokena na sekundę. Qwen 3.5 4B w Q4_K_M zajmuje 3,1 GB i pisze 5,0 tokena na sekundę.
- Oba modele w tej postaci opisały po 2 tys. prac naukowych do naszego klasyfikatora tematów. Zgodność ich etykiet z etykietami człowieka sprawdzamy na osobnym zbiorze testowym.
Powiązane pojęcia
Ollama · Duży model językowy (LLM) · Fine-tuning a RAG · Tokeny i okno kontekstu
Pytania i odpowiedzi
Czy kwantyzacja psuje model?
Przy 8 i 4 bitach zwykle nieznacznie. Wyraźne pogorszenie widać dopiero przy 3 i 2 bitach, zwłaszcza w małych modelach.
Co wybrać: Q4 czy Q8?
Jeśli model w Q8 mieści się w pamięci z zapasem, Q8. Jeśli nie, Q4_K_M. Zwykle lepiej wziąć większy model w Q4 niż mniejszy w Q8.
Czy mogę sam skwantyzować model?
Tak, llama.cpp ma do tego narzędzie. Zwykle nie trzeba: popularne modele są już dostępne w kilku wersjach kwantyzacji, a Ollama pobiera jedną z nich domyślnie.
Źródła
- llama.cpp, repozytorium (format GGUF i kwantyzacja)
- Lab: pomiar modeli na i5-2400 i ollama show dla modeli klasyfikatora B138 (listopad 2026)
Dalej