Ile RAM-u potrzeba do lokalnego AI? Test 7 modeli na procesorze z 2011 roku
Autorstwo i zatwierdzenie
Publikacja i aktualizacja
Najważniejsze
- Siedem modeli językowych uruchomiliśmy bez karty graficznej na Intelu i5-2400 z 2011 roku. Zajęły od 2,9 do 8,5 GiB pamięci.
- Większy model nie okazał się lepszym wyborem. Qwen 3.5 9B zajął dwa razy więcej pamięci niż wersja 4B i działał wolniej, a popełnił te same błędy.
- Najszybsza była Gemma 4 E2B, ale jako jedyna napisała kod z błędem składni.
- Bez słowa „AI” w pytaniu cztery modele wzięły bazę wektorową za pojęcie z algebry. Po dodaniu kontekstu poprawnie odpowiedziało wszystkie siedem.
- Cztery z siedmiu pomyliły rozwinięcie nazwy NASK. Tekstów z lokalnych modeli nie publikowalibyśmy bez sprawdzenia.
Na czym testowaliśmy
To serwer, na którym działa nasze laboratorium:
- procesor Intel Core i5-2400: 4 rdzenie, 3,1 GHz, bez AVX2,
- 15 GB pamięci DDR3,
- bez karty graficznej do obliczeń,
- Ubuntu 26.04 i Ollama 0.40.7.
Każdy model dostał te same zadania: wyjaśnienie pojęcia bez kontekstu i z kontekstem, mail do klienta, krótką funkcję w Pythonie i akapit na podstawie wiadomości o współpracy OpenAI z NASK. Temperatura 0, kontekst 4096 tokenów, jedna próba na zadanie, tryb myślenia wyłączony. W czasie testu na serwerze działała też reszta laboratorium.
Wyniki
Model | RAM | Ładowanie | Krótkie odpowiedzi | Akapit z tekstu | Kod |
|---|---|---|---|---|---|
Gemma 4 E2B | 6,3 GiB | 9 s | 8,7 tok/s | 57 s | błąd składni |
Qwen 3.5 4B | 2,9 GiB | 11 s | 5,0 tok/s | 118 s | działa, „kota,” liczy osobno |
Nemotron 3.5 Bolt E4B | 6,6 GiB | 16 s | 4,7 tok/s | 110 s | działa poprawnie |
Qwen 3.5 9B | 5,8 GiB | 18 s | 3,0 tok/s | 181 s | działa, „kota,” liczy osobno |
Ornith 1.5 9B | 5,8 GiB | 16 s | 3,0 tok/s | 207 s | działa poprawnie |
Bielik 11B v2.3 | 7,2 GiB | 18 s | 2,2 tok/s | 314 s | działa, „kota,” liczy osobno |
Ministral 3 14B | 8,5 GiB | 20 s | 1,5 tok/s | 382 s | działa, „kota,” liczy osobno |
Modele pisały akapity różnej długości, więc czas nie porównuje samej prędkości. Kod uruchomiliśmy na zdaniu „ala ma kota, kota ma ala”. Swap nie urósł w żadnym teście.
Dane pomiarów pobierzesz jako plik CSV (CC BY 4.0).
Próbowaliśmy też Granite Switch 4.1 8B. Pobrał się, ale nasza Ollama nie przyjęła go przez zwykły czat, więc nie ma go w tabeli.
Co nas zaskoczyło
Jedno słowo zmieniło odpowiedź. Na pytanie, co to jest baza wektorowa, Qwen 4B, Qwen 9B, Ornith i Bielik opisały bazę przestrzeni z algebry. To poprawna odpowiedź na inne pytanie. Nemotron i Ministral od razu odpowiedziały o danych dla AI, a Gemma ogólnie. Po dopisaniu „w systemach AI” wszystkie siedem pisało o właściwej rzeczy. Lokalny model potrzebuje kontekstu w pytaniu. Znaczenie z AI opisaliśmy w Słowniku AI.
Nazwa instytucji okazała się trudniejsza niż streszczenie. Źródło podawało angielską nazwę NASK. Modele tworzyły polskie rozwinięcia: „Narodowy Instytut Badań Naukowych”, „Instytut Badań Technicznych”, „Instytut Badań Narodowych”, a Ministral „Narodowy Instytut Badań w Trybunie”. Sama treść streszczeń była bliższa źródła niż te nazwy.
Polski model nie był szybki, ale nie zmyślił nazwy. Bielik napisał ostrożnie „instytut badawczy z Polski”. Jego akapit powstawał ponad 5 minut, więc na tym sprzęcie to raczej praca w tle. W końcowym wniosku dodał jednak coś od siebie: dostęp firm do ekspertyzy NASK, o którym źródło nie mówiło.
Czy warto kupić kartę graficzną?
U nas na razie nie. Starszy test pokazał Gemmę 12B Q4 przy około 1,2 tok/s i wskazał pamięć DDR3 jako wąskie gardło. Rozważaliśmy wtedy GTX 1070, ale jej 8 GB pamięci nie wystarczało na model 12B z pełnym kontekstem, więc zakup odłożyliśmy.
Stary procesor wystarcza, gdy praca może poczekać. Teraz Ornith oznacza na nim tematy 2000 tekstów, po około 45 sekund na tekst, co zajmie ponad dobę. Do rozmowy na żywo z dużym modelem to za wolno.
Którego modelu użyć
- Mało pamięci: Qwen 3.5 4B.
- Liczy się szybkość: Gemma 4 E2B, ale sprawdzaj kod.
- Wyjaśnienia i tekst: od tego zaczęlibyśmy po tym teście: Nemotron 3.5 Bolt E4B.
- Po polsku, gdy czas nie gra roli: Bielik 11B. Warto sprawdzić go na własnych tekstach.
Przy 8 GB RAM-u zaczęlibyśmy od Qwena 4B. Modele powyżej 6 GiB mogą być tam za ciasne, a Ministral nie zmieści się na pewno, ale takiej konfiguracji nie testowaliśmy.
Czego ten test nie mówi
To po jednej próbie na zadanie, na jednym komputerze i tylko po polsku. Pokazuje konkretne odpowiedzi, a nie ogólny ranking modeli. Innych rozmiarów kontekstu nie sprawdzaliśmy; większy kontekst zajmuje więcej pamięci.
Najczęściej zadawane pytania
Ile RAM-u potrzeba do lokalnego AI?
W naszym teście od 2,9 do 8,5 GiB na sam model, przy kontekście 4096 tokenów. Do tego dochodzi pamięć systemu i innych programów.
Czy lokalne AI działa bez karty graficznej?
Tak. Na procesorze z 2011 roku uzyskaliśmy od 1,5 do około 9 tokenów na sekundę w krótkich odpowiedziach. To wystarcza do zadań w tle, ale rozmowa jest wyraźnie wolna.
Który model był najszybszy?
Gemma 4 E2B: 8,7 tokena na sekundę i 57 sekund na akapit. W tym samym teście napisała jednak kod z błędem składni.
Czy większy model daje lepsze odpowiedzi?
W tym teście nie zawsze. Qwen 9B i Ministral 14B były wolniejsze od Qwena 4B, a też pomyliły nazwę instytucji.
Czy lokalny model może sam pisać wpisy na bloga?
Po tym teście byśmy tego nie zrobili. Cztery z siedmiu modeli pomyliły nazwę instytucji. Tekst trzeba sprawdzić przed publikacją.
Źródła
Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.
Powiązane wpisy
„AI dziś” do czytania wzrokiem. Jak przebudowaliśmy Writera w jeden dzień
Przebudowaliśmy Writera: test czytelnika dał 13:2 dla wersji z kontekstem labu i 13:2 dla krótszych, łatwiejszych do skanowania wpisów.
AI dziś: NVIDIA 6G i AMD InferaSim
NVIDIA raportuje milion pobrań narzędzi 5G/6G, a AMD opisuje InferaSim, który w testach ograniczył pomiary konfiguracji z 204 do 9,1 godziny GPU.
Mały model kontra Gemini: pierwsza próba otwartego klasyfikatora tematów AI
Fiszka 0.1 osiągnęła macro-F1 0,34; lokalni nauczyciele uzyskali 0,44, praktycznie tyle samo co dotychczasowe tematy Gemini.
AI dziś: Google Genie 4 i Gemini 4 Argon
Poznaj możliwości Google Genie 4, wydajność Gemini 4 Argon, wsparcie Ray w ROCm 10.0.0, modele LFM3 od Liquid AI oraz automatyzację Anima w medycynie.