aipoc-lab

Ile RAM-u potrzeba do lokalnego AI? Test 7 modeli na procesorze z 2011 roku

Autorstwo i zatwierdzenie

[Treść wygenerowana przez AI][Zatwierdzone przez człowieka]

Publikacja i aktualizacja

Publikacja: Aktualizacja:

Najważniejsze

  • Siedem modeli językowych uruchomiliśmy bez karty graficznej na Intelu i5-2400 z 2011 roku. Zajęły od 2,9 do 8,5 GiB pamięci.
  • Większy model nie okazał się lepszym wyborem. Qwen 3.5 9B zajął dwa razy więcej pamięci niż wersja 4B i działał wolniej, a popełnił te same błędy.
  • Najszybsza była Gemma 4 E2B, ale jako jedyna napisała kod z błędem składni.
  • Bez słowa „AI” w pytaniu cztery modele wzięły bazę wektorową za pojęcie z algebry. Po dodaniu kontekstu poprawnie odpowiedziało wszystkie siedem.
  • Cztery z siedmiu pomyliły rozwinięcie nazwy NASK. Tekstów z lokalnych modeli nie publikowalibyśmy bez sprawdzenia.

Na czym testowaliśmy

To serwer, na którym działa nasze laboratorium:

  • procesor Intel Core i5-2400: 4 rdzenie, 3,1 GHz, bez AVX2,
  • 15 GB pamięci DDR3,
  • bez karty graficznej do obliczeń,
  • Ubuntu 26.04 i Ollama 0.40.7.

Każdy model dostał te same zadania: wyjaśnienie pojęcia bez kontekstu i z kontekstem, mail do klienta, krótką funkcję w Pythonie i akapit na podstawie wiadomości o współpracy OpenAI z NASK. Temperatura 0, kontekst 4096 tokenów, jedna próba na zadanie, tryb myślenia wyłączony. W czasie testu na serwerze działała też reszta laboratorium.

Wyniki

Model

RAM

Ładowanie

Krótkie odpowiedzi

Akapit z tekstu

Kod

Gemma 4 E2B

6,3 GiB

9 s

8,7 tok/s

57 s

błąd składni

Qwen 3.5 4B

2,9 GiB

11 s

5,0 tok/s

118 s

działa, „kota,” liczy osobno

Nemotron 3.5 Bolt E4B

6,6 GiB

16 s

4,7 tok/s

110 s

działa poprawnie

Qwen 3.5 9B

5,8 GiB

18 s

3,0 tok/s

181 s

działa, „kota,” liczy osobno

Ornith 1.5 9B

5,8 GiB

16 s

3,0 tok/s

207 s

działa poprawnie

Bielik 11B v2.3

7,2 GiB

18 s

2,2 tok/s

314 s

działa, „kota,” liczy osobno

Ministral 3 14B

8,5 GiB

20 s

1,5 tok/s

382 s

działa, „kota,” liczy osobno

Modele pisały akapity różnej długości, więc czas nie porównuje samej prędkości. Kod uruchomiliśmy na zdaniu „ala ma kota, kota ma ala”. Swap nie urósł w żadnym teście.

Dane pomiarów pobierzesz jako plik CSV (CC BY 4.0).

Próbowaliśmy też Granite Switch 4.1 8B. Pobrał się, ale nasza Ollama nie przyjęła go przez zwykły czat, więc nie ma go w tabeli.

Co nas zaskoczyło

Jedno słowo zmieniło odpowiedź. Na pytanie, co to jest baza wektorowa, Qwen 4B, Qwen 9B, Ornith i Bielik opisały bazę przestrzeni z algebry. To poprawna odpowiedź na inne pytanie. Nemotron i Ministral od razu odpowiedziały o danych dla AI, a Gemma ogólnie. Po dopisaniu „w systemach AI” wszystkie siedem pisało o właściwej rzeczy. Lokalny model potrzebuje kontekstu w pytaniu. Znaczenie z AI opisaliśmy w Słowniku AI.

Nazwa instytucji okazała się trudniejsza niż streszczenie. Źródło podawało angielską nazwę NASK. Modele tworzyły polskie rozwinięcia: „Narodowy Instytut Badań Naukowych”, „Instytut Badań Technicznych”, „Instytut Badań Narodowych”, a Ministral „Narodowy Instytut Badań w Trybunie”. Sama treść streszczeń była bliższa źródła niż te nazwy.

Polski model nie był szybki, ale nie zmyślił nazwy. Bielik napisał ostrożnie „instytut badawczy z Polski”. Jego akapit powstawał ponad 5 minut, więc na tym sprzęcie to raczej praca w tle. W końcowym wniosku dodał jednak coś od siebie: dostęp firm do ekspertyzy NASK, o którym źródło nie mówiło.

Czy warto kupić kartę graficzną?

U nas na razie nie. Starszy test pokazał Gemmę 12B Q4 przy około 1,2 tok/s i wskazał pamięć DDR3 jako wąskie gardło. Rozważaliśmy wtedy GTX 1070, ale jej 8 GB pamięci nie wystarczało na model 12B z pełnym kontekstem, więc zakup odłożyliśmy.

Stary procesor wystarcza, gdy praca może poczekać. Teraz Ornith oznacza na nim tematy 2000 tekstów, po około 45 sekund na tekst, co zajmie ponad dobę. Do rozmowy na żywo z dużym modelem to za wolno.

Którego modelu użyć

  • Mało pamięci: Qwen 3.5 4B.
  • Liczy się szybkość: Gemma 4 E2B, ale sprawdzaj kod.
  • Wyjaśnienia i tekst: od tego zaczęlibyśmy po tym teście: Nemotron 3.5 Bolt E4B.
  • Po polsku, gdy czas nie gra roli: Bielik 11B. Warto sprawdzić go na własnych tekstach.

Przy 8 GB RAM-u zaczęlibyśmy od Qwena 4B. Modele powyżej 6 GiB mogą być tam za ciasne, a Ministral nie zmieści się na pewno, ale takiej konfiguracji nie testowaliśmy.

Czego ten test nie mówi

To po jednej próbie na zadanie, na jednym komputerze i tylko po polsku. Pokazuje konkretne odpowiedzi, a nie ogólny ranking modeli. Innych rozmiarów kontekstu nie sprawdzaliśmy; większy kontekst zajmuje więcej pamięci.

Najczęściej zadawane pytania

Ile RAM-u potrzeba do lokalnego AI?

W naszym teście od 2,9 do 8,5 GiB na sam model, przy kontekście 4096 tokenów. Do tego dochodzi pamięć systemu i innych programów.

Czy lokalne AI działa bez karty graficznej?

Tak. Na procesorze z 2011 roku uzyskaliśmy od 1,5 do około 9 tokenów na sekundę w krótkich odpowiedziach. To wystarcza do zadań w tle, ale rozmowa jest wyraźnie wolna.

Który model był najszybszy?

Gemma 4 E2B: 8,7 tokena na sekundę i 57 sekund na akapit. W tym samym teście napisała jednak kod z błędem składni.

Czy większy model daje lepsze odpowiedzi?

W tym teście nie zawsze. Qwen 9B i Ministral 14B były wolniejsze od Qwena 4B, a też pomyliły nazwę instytucji.

Czy lokalny model może sam pisać wpisy na bloga?

Po tym teście byśmy tego nie zrobili. Cztery z siedmiu modeli pomyliły nazwę instytucji. Tekst trzeba sprawdzić przed publikacją.

Źródła

Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.

Powiązane wpisy

/kattechnologia/temsprzęt · modele językowe · open source i open weights/podinne big techy · NVIDIA/typwiadomości

AI dziś: NVIDIA 6G i AMD InferaSim

NVIDIA raportuje milion pobrań narzędzi 5G/6G, a AMD opisuje InferaSim, który w testach ograniczył pomiary konfiguracji z 204 do 9,1 godziny GPU.

/kattechnologia/temsprzęt · modele językowe · multimodalność/podinne big techy · Google/typwiadomości

AI dziś: Google Genie 4 i Gemini 4 Argon

Poznaj możliwości Google Genie 4, wydajność Gemini 4 Argon, wsparcie Ray w ROCm 10.0.0, modele LFM3 od Liquid AI oraz automatyzację Anima w medycynie.