aipoc-lab
[SŁOWNIK AI][MODELE][LLM][OPEN SOURCE]

Kwantyzacja modelu

Autorstwo i zatwierdzenie

[Napisane z AI] [Zatwierdzone przez człowieka]

Aktualizacja

03.11.2026

Kwantyzacja to zapisanie liczb, z których składa się model (wag), mniejszą liczbą bitów, np. 4 zamiast 16. Model zajmuje wtedy kilka razy mniej pamięci i działa szybciej, kosztem niewielkiej utraty jakości.

18 GB

model 9B w 16 bitach

6,2 GB

ten sam model w 4 bitach

15 GB

RAM naszego serwera

Jak to działa?

  1. Model to miliardy liczb (wag). Przy treningu każda zajmuje zwykle 16 bitów, czyli 2 bajty.
  2. Model 9B w 16 bitach waży więc ok. 18 GB i nie zmieści się w zwykłym laptopie.
  3. Kwantyzacja zaokrągla wagi do mniejszej liczby możliwych wartości: 8 bitów to połowa rozmiaru, 4 bity to mniej więcej jedna trzecia.
  4. Lepsze metody kwantują warstwy nierówno: ważniejsze części modelu dostają więcej bitów, mniej ważne mniej.

Co znaczą Q4, Q8 i K_M?

  • Q8: 8 bitów na wagę. Prawie bez straty jakości, ale model jest duży.
  • Q4: ok. 4 bity na wagę. Najczęstszy wybór do domowego komputera: kilka razy mniej pamięci, niewielka strata jakości.
  • Q3, Q2: jeszcze mniej pamięci, ale jakość spada wyraźnie: model częściej się myli i gubi wątek.
  • K_M, K_S: odmiany metody z mieszaną liczbą bitów (M = średnia, S = mała). Q4_K_M to częsty domyślny wybór w Ollamie.
  • GGUF: format pliku z kwantyzowanym modelem, którego używają llama.cpp i Ollama.

Ile się traci?

Przy 8 bitach różnica jest zwykle niezauważalna, przy 4 bitach niewielka, a przy 3 i 2 bitach wyraźna. Strata zależy od modelu i zadania: większy model znosi kwantyzację lepiej niż mały. Dlatego model 9B w 4 bitach zwykle wypada lepiej niż model 4B w 16 bitach, choć zajmuje mniej pamięci.

Jak to robi nasz lab?

  • Serwer labu ma 15 GB RAM i nie ma karty graficznej. Model 9B w 16 bitach (ok. 18 GB) by się na nim nie zmieścił.
  • Ornith 1.5 9B w Q4_K_M zajmuje u nas 6,2 GB RAM i pisze 3,0 tokena na sekundę. Qwen 3.5 4B w Q4_K_M zajmuje 3,1 GB i pisze 5,0 tokena na sekundę.
  • Oba modele w tej postaci opisały po 2 tys. prac naukowych do naszego klasyfikatora tematów. Zgodność ich etykiet z etykietami człowieka sprawdzamy na osobnym zbiorze testowym.

Powiązane pojęcia

Ollama · Duży model językowy (LLM) · Fine-tuning a RAG · Tokeny i okno kontekstu

Pytania i odpowiedzi

Czy kwantyzacja psuje model?

Przy 8 i 4 bitach zwykle nieznacznie. Wyraźne pogorszenie widać dopiero przy 3 i 2 bitach, zwłaszcza w małych modelach.

Co wybrać: Q4 czy Q8?

Jeśli model w Q8 mieści się w pamięci z zapasem, Q8. Jeśli nie, Q4_K_M. Zwykle lepiej wziąć większy model w Q4 niż mniejszy w Q8.

Czy mogę sam skwantyzować model?

Tak, llama.cpp ma do tego narzędzie. Zwykle nie trzeba: popularne modele są już dostępne w kilku wersjach kwantyzacji, a Ollama pobiera jedną z nich domyślnie.

Źródła

Dalej