
Mały model kontra Gemini: pierwsza próba otwartego klasyfikatora tematów AI
Autorstwo i zatwierdzenie
Publikacja i aktualizacja
Zbudowaliśmy pierwszą wersję Fiszki, klasyfikatora tematów tekstów o AI, i sprawdziliśmy ją na 262 tekstach oznaczonych ręcznie. Najlepszy mały model, TF-IDF z regresją logistyczną, uzyskał macro-F1 0,34. Lokalne modele, które przygotowały etykiety do nauki, osiągnęły 0,436 — praktycznie tyle samo co Gemini z wynikiem 0,439. Test pokazał też, że niejasne definicje tematów utrudniają ocenę modeli.
Najważniejsze
- TF-IDF z regresją logistyczną uzyskał macro-F1 0,34, czyli około 79% wyniku lokalnych nauczycieli.
- Lokalni nauczyciele uzyskali 0,436 wobec 0,439 dla dotychczasowych tematów Gemini — praktycznie tyle samo.
- TF-IDF wypadł lepiej od modeli na wektorach w 93% i 97% losowań, ale nie ma podstaw, by uznać go za lepszy; jest nie gorszy.
- Ukryte powtórki pokazały, że nasze ręczne oznaczenia często nie były zgodne same ze sobą.
- W wersji 0.2 planujemy doprecyzować tematy, przygotować nowy egzamin, a potem opublikować model i materiały.
Po co budujemy własny klasyfikator
Codziennie zbieramy teksty o AI: prace z arXiv, wpisy z blogów firm i wiadomości. Każdemu przypisujemy tematy, takie jak agenci, bezpieczeństwo czy robotyka. Dotąd robił to Gemini w chmurze. Chcemy przenieść tę pracę do siebie, korzystać z otwartych modeli i udostępnić gotowy klasyfikator publicznie.
Mamy też drugi powód: chcemy lepiej zrozumieć, jak w praktyce uczy się modele. Dziś możemy to sprawdzić na własnym sprzęcie. Nasz serwer z 2011 roku wystarcza do eksperymentów, które niedawno wymagały zespołu i drogiego sprzętu. Model nazwaliśmy roboczo Fiszka. Wersja 0.1 to pierwsza próba, nie gotowy produkt.
Gemini i Gemma to różne modele
Fiszka i nasz czat używają wektorów z EmbeddingGemma 2 (embeddinggemma-2:270m). To otwarty model na licencji Apache 2.0, który działa lokalnie na naszym serwerze przez Ollamę, bez konta i bez API Google. Każdy tekst zamieniamy na wektor złożony z 768 liczb.
Mapa wiedzy na blogu korzysta z innych wektorów: pochodzą z API Google i modelu Gemini Embedding 2 (gemini-embedding-2), a każdy ma 1536 liczb. To osobne rozwiązanie. W tym eksperymencie Gemini jest punktem porównania, bo porównujemy Fiszkę z tematami, które dotąd nadawał Gemini. Ani odpowiedzi Gemini, ani jego etykiety nie trafiły do nauki Fiszki ani na wejście jej modeli. Fiszki nie szkolimy na Gemini.
Jak przeprowadziliśmy test
Przygotowaliśmy 14 tematów. Każdy miał opis wskazujący, kiedy tekst do niego należy, a kiedy nie. Etykiety do nauki wyznaczyliśmy na podstawie części wspólnej odpowiedzi dwóch modeli: Ornith 1.5 9B na licencji MIT oraz Qwen 3.5 4B. Pełniły rolę nauczycieli i działały przez Ollamę na procesorze Intel i5-2400 z 2011 roku, bez karty graficznej. Oznaczenie 2000 tekstów zajęło im łącznie około 46 godzin. Qwen potrzebował około 26 sekund na tekst, a Ornith około 42 sekund.
Następnie sprawdziliśmy cztery małe modele. Pierwszy zawsze przypisywał stały zestaw najczęstszych tematów i stanowił punkt odniesienia, czyli poziom zera. Drugi korzystał z TF-IDF i regresji logistycznej: TF-IDF zlicza słowa w tekście. Trzeci używał regresji logistycznej na wektorach EmbeddingGemma 2. Czwarty był małą siecią neuronową z warstwami 128 i 64 neuronów, również pracującą na tych wektorach.
Do nauki wykorzystaliśmy 2000 tekstów sprzed 18 października 2026. Egzamin obejmował 300 nowszych tekstów, których nie było w nauce. Oznaczyliśmy je ręcznie na specjalnej stronie; wzorcem były nasze ręczne oznaczenia, nie odpowiedź modelu. W 37 przypadkach wybraliśmy „nie rozumiem”, a w jednym „nie da się ocenić”. Oceniliśmy więc 262 teksty: 205 z arXiv i 57 z innych źródeł. Rzadkie tematy pojawiały się w egzaminie częściej, dlatego przeliczyliśmy wyniki wagami, aby odpowiadały zwykłemu strumieniowi tekstów.
Wyniki podajemy jako ważone macro-F1. To miara, która oblicza F1 osobno dla każdego tematu, a potem uśrednia wyniki tak, by każdy z 14 tematów liczył się tak samo. Wynik 1 oznacza ideał, a 0 — same błędy.
System | macro-F1 | Czas na tekst |
|---|---|---|
Stały zestaw najczęstszych tematów | 0,05 | – |
TF-IDF + regresja logistyczna | 0,34 | 0,5 ms |
EmbeddingGemma 2 + regresja logistyczna | 0,30 | ok. 1,7 s na wektor + 0,02 ms |
EmbeddingGemma 2 + mała sieć neuronowa | 0,29 | ok. 1,7 s na wektor + poniżej 0,01 ms |
Ornith + Qwen (nauczyciele) | 0,44 | ok. 70 s |
Gemini (dotychczasowe tematy) | 0,44 | nie mierzyliśmy |
Osobny skrypt sprawdził uczciwość porównania. Potwierdził, że egzamin nie zawiera tekstów z nauki, jego etykiety pochodzą od człowieka, a w nauce nie ma etykiet ani odpowiedzi Gemini. Sprawdził też, że model bije punkt odniesienia i że liczby w raporcie zgadzają się z danymi.
Co mówią wyniki — i czego nie mówią
Lokalni nauczyciele uzyskali 0,436, a dotychczasowe tematy Gemini 0,439. To praktycznie tyle samo. Najlepszy mały model, TF-IDF, osiągnął około 79% wyniku nauczycieli. W 1000 losowań bootstrapowych nauczyciele byli lepsi od TF-IDF w 99% przypadków, więc ta przewaga jest pewna.
TF-IDF wypadł lepiej od modeli na wektorach w 93% i 97% losowań. To za mało, by uznać tę przewagę za pewną: przedział ufności dotyka zera. Wniosek brzmi więc, że TF-IDF jest „nie gorszy” od modeli na wektorach, a nie że jest lepszy lub je pobił.
Czas modeli na wektorach wynikał głównie z zamiany tekstu na wektor. EmbeddingGemma 2 potrzebowała na to na procesorze około 1,7 sekundy. Sam model klasyfikujący liczył wynik potem w ułamku milisekundy. Lokalni nauczyciele potrzebowali około 70 sekund na tekst, więc wynik jakościowy nie oznacza, że działają równie szybko jak małe modele.
Ręczne oznaczenia też wymagają sprawdzenia
30 tekstów egzaminacyjnych pokazaliśmy do oznaczenia drugi raz, bez uprzedzenia. Z 21 par, które dało się porównać, identyczny zestaw tematów pojawił się tylko 7 razy. Zgodność oznaczeń mierzyliśmy osobno dla tematów za pomocą kappy: wartość 1 oznacza zawsze taki sam wybór, a 0 — zgodność jak przy rzucie monetą.
Tematy | Kappa |
|---|---|
multimodalność, medycyna, sprzęt, RAG | 1,0 |
narzędzia, edukacja | 0,64–0,69 |
bezpieczeństwo | 0,45 |
modele językowe, ewaluacja | 0,22 |
agenci | 0,13 |
open source | 0,0 |
Modele myliły się w podobnych miejscach. Najlepszy mały model przypisał temat „ewaluacja” w 191 tekstach, w których człowiek go nie wybrał, choć wszystkie 36 trafnych też znalazł. Nauczyciele najpewniej uznawali za ewaluację każdą pracę z eksperymentami. Temat „narzędzia” model przypisał tylko 3 razy, choć człowiek wybrał go 61 razy, a temat „agenci” dał w 93 tekstach za dużo.
Zauważyliśmy też braki w zestawie tematów. Teksty o ogólnym uczeniu maszynowym trafiały do „modeli językowych”, a materiały o polityce i regulacjach AI, na przykład o Komisji Europejskiej lub współpracy laboratoriów i państw, nie miały właściwego miejsca. Niski wynik, także Gemini — 0,44 — wynika przede wszystkim z rozmytych definicji kilku tematów, a nie ze słabości samych modeli.
Czego się nauczyliśmy i co dalej
Definicja tematu waży więcej niż wybór modelu. Zanim ocenimy maszynę, musimy zmierzyć spójność własnych oznaczeń. Bez ukrytych powtórek moglibyśmy uznać niski wynik za winę modeli, choć część trudności wynikała z tego, że sami nie zawsze przypisywaliśmy tekstom te same tematy.
Eksperyment pokazał, że otwarte modele na starym procesorze wystarczają do nadawania tematów na poziomie Gemini. Prosty model jest dobrym początkiem: działa szybko i łatwo go sprawdzić. W tej próbie nie wypadł gorzej od sieci neuronowej, choć wyniki nie dają podstaw do stwierdzenia, że modele na wektorach są gorsze.
W Fiszce 0.2 planujemy dodać tematy uczenie maszynowe, polityka i regulacje — w tym współpraca laboratoriów i państw — oraz biznes i inicjatywy. Prace naukowe będą osobną cechą tekstu, a nie tematem. Chcemy też zaostrzyć definicje tematów modele językowe, ewaluacja, agenci, open source i narzędzia.
Przygotujemy nową porcję tekstów do egzaminu. Starego egzaminu nie wykorzystamy do poprawiania definicji, bo wynik takiego testu byłby naciągany. Po wersji 0.2 planujemy opublikować model, kod, raport i dziennik decyzji na GitHubie i Hugging Face.
Za laboratorium nie stoi zespół: eksperymenty przygotowujemy wspólnie jako jedna osoba i AI. To projekt hobbystyczny, robiony dla nauki i dla zabawy.
Najczęściej zadawane pytania
Po co budować własny klasyfikator tematów?
Codziennie zbieramy teksty o AI i nadajemy im tematy, a dotąd robił to Gemini w chmurze. Własny klasyfikator ma przenieść tę pracę na otwarte modele i do naszego laboratorium. Budujemy go również po to, by nauczyć się, jak działa uczenie modeli, i udostępnić gotowe rozwiązanie publicznie.
Czy Fiszka uczy się na Gemini?
Nie. Etykiety do nauki pochodziły ze wspólnej części odpowiedzi Ornith 1.5 9B i Qwen 3.5 4B. Ani odpowiedzi Gemini, ani jego etykiety nie trafiły do nauki Fiszki lub na wejście jej modeli. Gemini służy wyłącznie jako punkt porównania.
Czy mały model może już zastąpić Gemini?
W wersji 0.1 nie. Najlepszy mały model, TF-IDF z regresją logistyczną, uzyskał macro-F1 0,34 wobec 0,44 dla Gemini. Lokalni nauczyciele osiągnęli wynik praktycznie taki sam jak Gemini, ale potrzebowali około 70 sekund na tekst.
Ile to kosztuje?
Nic poza prądem. Eksperyment działa na naszym serwerze, z lokalnymi modelami uruchamianymi przez Ollamę, bez płatnego API.
Czy Fiszka będzie publiczna?
Tak. Po przygotowaniu wersji 0.2 planujemy opublikować model, kod, raport i dziennik decyzji na GitHubie i Hugging Face.
Źródła
--- Tekst przygotowany przez laboratorium aipoc-lab (AI) na podstawie własnej notatki laboratorium z pomiarami i wnioskami. Wersja przed redakcją człowieka.
Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.
Powiązane wpisy
„AI dziś” do czytania wzrokiem. Jak przebudowaliśmy Writera w jeden dzień
Przebudowaliśmy Writera: test czytelnika dał 13:2 dla wersji z kontekstem labu i 13:2 dla krótszych, łatwiejszych do skanowania wpisów.
AI dziś: Nemotron i PDD Kit
Chris Alexiuk promuje modele NVIDIA Nemotron, a Microsoft Research opisuje PDD Kit przetestowany na aplikacji w Ruście liczącej około 5000 linii.
AI dziś: NVIDIA 6G i AMD InferaSim
NVIDIA raportuje milion pobrań narzędzi 5G/6G, a AMD opisuje InferaSim, który w testach ograniczył pomiary konfiguracji z 204 do 9,1 godziny GPU.
Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3
Fiszka 0.3 osiągnęła F1 0,496 na tekstach spoza arXiv; na tematach wspólnych z Gemini wynik obu systemów był zbliżony.