Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3
Autorstwo i zatwierdzenie
Publikacja i aktualizacja
W Fiszce 0.3 sprawdziliśmy, co dają większy zbiór danych, poprawione definicje tematów i wagi klas. Na 75 tekstach spoza arXiv uzyskaliśmy F1 0,496, a na tematach wspólnych z Gemini — 0,417 wobec 0,409. To remis, nie przewaga. Lepszy wynik łączny Fiszki wynika głównie z tematów, których Gemini w ogóle nie ma.
Najważniejsze
- Na egzaminie z 2522 prac arXiv Fiszka 0.2.1 z wagami klas osiągnęła średnią czułość 0,776 dla siedmiu tematów.
- Na 75 ocenionych tekstach spoza arXiv Fiszka 0.3 uzyskała F1 0,496, a na tematach wspólnych z Gemini wynik wyniósł 0,417 wobec 0,409.
- Wynik poprawiło przede wszystkim więcej danych: ich wkład wyniósł +0,195, a wag klas +0,055.
- Całe badanie, razem z egzaminami kandydatów na nauczycieli i próbami definicji, kosztowało łącznie 0,82 $, a sama Fiszka działa bez opłat za API.
Od Fiszki 0.1 do 0.3
To kontynuacja naszego wpisu „Mały model kontra Gemini”, w którym opisaliśmy Fiszkę 0.1 z 4 listopada. Wtedy uzyskaliśmy macro-F1 0,34 wobec 0,44 u Gemini. Zobaczyliśmy też, że nieostre definicje tematów mogą ważyć więcej niż wybór modelu.
Fiszka to nasz mały klasyfikator, który przypisuje tekstom tematy, takie jak agenci, bezpieczeństwo czy robotyka. Laboratorium codziennie zbiera prace z arXiv, wpisy z blogów firm i wiadomości. Dotąd tematy przypisywał im Gemini w chmurze. Fiszka działa lokalnie, bez API, i ma być publiczna.
Co zmieniliśmy
W definicjach 0.2 zwiększyliśmy liczbę tematów z 14 do 17. Dodaliśmy uczenie maszynowe, politykę i regulacje oraz biznes. Doprecyzowaliśmy też opisy modeli językowych, ewaluacji, agentów, open source i narzędzi. Każdy temat ma wskazówki, kiedy go przypisać, a kiedy nie. Główna zasada: liczy się to, o czym jest tekst, a nie to, jakiego narzędzia użyto.
Osobno poprawiliśmy ewaluację, czyli temat związany z ocenianiem modeli. Nauczyciele przypisywali go 39% tekstów, podczas gdy człowiek oznaczył nim 17% tych samych prac z arXiv. Sama poprawiona definicja obniżyła wynik do 34%. Dopiero osobne pytanie tak/nie — czy tekst dotyczy narzędzia do oceniania cudzych modeli — sprowadziło go do 18%. Drugi nauczyciel na to pytanie odpowiadał „tak” w 98% przypadków, więc ostatecznie zadaje je tylko jeden model.
Zmieniliśmy też nauczycieli. Zamiast dwóch modeli działających na naszym serwerze użyliśmy przez OpenRouter DeepSeek V4.1 Flash na licencji MIT oraz Nemotron 3.5 Lightning od NVIDII na licencji OpenMDW 1.1. Temat trafiał do etykiety, jeśli wskazały go oba modele. Na egzaminie z Fiszki 0.1 ta para uzyskała 0,452, a poprzednia para 0,436. Różnica mieściła się w granicach szumu, więc wybraliśmy nowe rozwiązanie ze względu na czas: około 0,7–1,2 sekundy na tekst zamiast około 70 sekund.
Zwiększyliśmy również zbiór treningowy. Fiszka 0.2 korzystała z 2000 tekstów, wersja 0.2.1 z 8342 tekstów sprzed 18 października 2026, a 0.3 z 9968. Ostatnie 1626 tekstów pochodziło spoza arXiv: z blogów firm i wiadomości z sierpnia i września. Dodaliśmy wagi klas, czyli zwiększyliśmy wpływ rzadkich tematów, takich jak robotyka, sprzęt i bezpieczeństwo, podczas uczenia.
Zostawiliśmy model, który najlepiej wypadł w Fiszce 0.1: TF-IDF z regresją logistyczną. W uproszczeniu, model liczy słowa w tekście i na tej podstawie przypisuje mu tematy. Działa około 0,5 ms na tekst na zwykłym procesorze. W tej rundzie pominęliśmy modele na wektorach, bo wektory nowych tekstów wciąż się liczyły.
Jak przeprowadziliśmy egzamin
Pierwsza część obejmowała 2522 prace z arXiv opublikowane od 18 do 31 października 2026, czyli późniejsze niż wszystkie teksty treningowe. Za punkt odniesienia przyjęliśmy kategorie przypisane przez autorów prac, na przykład cs.RO dla robotyki. Metadane arXiv są na licencji CC0. Ta część mierzy czułość: odsetek prac z daną kategorią, które model rozpoznał. Sprawdziliśmy także średnią liczbę tematów przypisywanych tekstowi, żeby ocenić, czy model nie nadrabia wyniku przez przypisywanie wielu tematów.
Druga część to 76 tekstów spoza arXiv z tego samego okresu, z blogów firm i wiadomości pochodzących z 12 źródeł. Oznaczyliśmy je ręcznie, a następnie ponownie przejrzeliśmy część etykiet. Jeden tekst uznaliśmy za niemożliwy do oceny, więc wyniki liczymy dla 75. Tutaj mierzyliśmy precyzję, czułość i F1 — miarę łączącą precyzję z czułością.
Wyniki na arXiv
Wersja | Średnia czułość (7 tematów) | Tematów na tekst | Robotyka | Sprzęt | Bezpieczeństwo |
|---|---|---|---|---|---|
Fiszka 0.2 (2000 tekstów) | 0,526 | 1,93 | 0,30 | 0,05 | 0,56 |
Fiszka 0.2.1 bez wag klas (8342) | 0,721 | 1,82 | 0,67 | 0,43 | 0,87 |
Fiszka 0.2.1 (8342, wagi klas) | 0,776 | 1,97 | 0,83 | 0,62 | 0,90 |
Fiszka 0.3 (9968, wagi klas) | 0,756 | 1,84 | 0,83 | 0,57 | 0,89 |
Przejście od 0,526 do 0,721 po zwiększeniu zbioru dało +0,195. Wagi klas dołożyły kolejne +0,055, podnosząc wynik do 0,776. Najbardziej skorzystały rzadkie tematy: czułość dla sprzętu wzrosła z 0,43 do 0,62, a dla robotyki z 0,67 do 0,83.
Na sześciu tematach wspólnych z wersją 0.1 wynik spadł najpierw z 0,537 do 0,497 w wersji 0.2, a następnie wzrósł do 0,780 w 0.2.1. Fiszka 0.3 utrzymała poziom 0.2.1. Różnica wiąże się z wyższym progiem przypisywania tematów i mniejszą liczbą tematów na tekst. Sprzęt jest trudniejszy do porównania: w egzaminie znalazło się tylko 21 prac z tą kategorią, więc jedna praca zmienia wynik o około 0,05.
Wyniki poza arXiv
System | Precyzja | Czułość | F1 | F1 tylko na tematach, które ma też Gemini |
|---|---|---|---|---|
Gemini (dotychczasowe tagi) | 0,295 | 0,407 | 0,342 | 0,409 |
Fiszka 0.2.1 | 0,414 | 0,575 | 0,481 | 0,368 |
Fiszka 0.3 | 0,441 | 0,566 | 0,496 | 0,417 |
Fiszka 0.2.1 bez wag klas | 0,337 | 0,301 | 0,318 | – |
Na tematach wspólnych z Gemini mamy remis: F1 wynosi 0,417 dla Fiszki 0.3 i 0,409 dla Gemini. Wyższy wynik Fiszki liczony dla wszystkich tematów — 0,496 wobec 0,342 — bierze się głównie z tematów, których Gemini w ogóle nie ma, czyli biznesu i polityki. Biznes dotyczył 34 z 75 tekstów. Nie opisujemy tego jako przewagi na wspólnym zestawie tematów.
Dodatkowe 1626 tekstów spoza arXiv pomogło w obszarach, z których pochodziły: F1 na tematach wspólnych z Gemini wzrósł z 0,368 dla Fiszki 0.2.1 do 0,417 dla 0.3. Wariant bez wag klas wypadł słabo, z F1 0,318, i nie przypisał żadnego tematu 17 tekstom.
Sprawdziliśmy też ręczne etykiety
Podczas ręcznego oznaczania temat „modele językowe” trafił do 29 z 75 tekstów. Często powodem było samo wystąpienie ChatGPT albo Gemini, nawet w tekście o czymś innym, takim jak „4 tips for styling outfits with Gemini”. Tymczasem definicja mówi, by nie przypisywać tego tematu, jeśli model językowy jest jedynie narzędziem do innego zadania.
Ponownie przejrzeliśmy te 29 tekstów według definicji. Temat został w 8, a odpadł w 21. To ważne zastrzeżenie do wyników: ponowna ocena według tej samej definicji, z której korzystają nauczyciele, przybliża ręczne etykiety do etykiet treningowych. Po przeglądzie Fiszka nadal słabo radziła sobie z tematem modeli językowych: F1 wyniósł 0,18.
Nie znaleźliśmy rażących błędów, takich jak przypisanie Komisji Europejskiej do medycyny. Najbliżej takiej pomyłki był tekst o demencji oznaczony jako biznes zamiast medycyny oraz tekst o okularach XR oznaczony jako narzędzia zamiast sprzętu. Pozostałe rozbieżności dotyczyły sąsiednich tematów.
Gemini tylko do porównania
Fiszka nie uczy się na Gemini. Etykiety treningowe przygotowały DeepSeek V4.1 Flash i Nemotron 3.5 Lightning. Dotychczasowe tagi Gemini w naszej bazie wykorzystujemy wyłącznie jako gotowy punkt porównania.
Ile to kosztowało
Oznaczenie 8342 tekstów przez nauczycieli w chmurze zajęło około dwóch godzin, a dodatkowych 1626 — około 25 minut, przy trzech przebiegach równolegle. Dla porównania, dwa modele na naszym serwerze potrzebowały około 46 godzin na 2000 tekstów. Jakość nowej pary była podobna do jakości poprzedniej.
Cały klucz API użyty w badaniu zużył łącznie 0,82 $ według panelu OpenRouter z 6 listopada. Kwota obejmuje egzaminy kandydatów na nauczycieli, próby definicji, oznaczenie wszystkich 9968 tekstów i pytania o ewaluację. Nie jest to koszt przeliczony na tekst.
Sama Fiszka nic nie kosztuje poza prądem. Trening trwa chwilę na zwykłym procesorze, a przypisanie tematów zajmuje około 0,5 ms na tekst.
Czego się nauczyliśmy i co dalej
W tym eksperymencie więcej danych dało więcej niż poprawka w postaci wag klas: odpowiednio +0,195 i +0,055. Zobaczyliśmy też, że źle zdefiniowany temat może wypierać inne. Przy limicie trzech tematów ewaluacja pojawiała się w 39% tekstów i odbierała miejsce rzadszym kategoriom.
Przekonaliśmy się również, że ręczne etykiety nie zawsze trzymają się definicji. „Modele językowe” przypisywaliśmy z przyzwyczajenia tekstom wspominającym ChatGPT albo Gemini. Bez ponownego przeglądu moglibyśmy uznać to za słabość modelu. Porównanie z gotowym systemem trzeba prowadzić na wspólnych tematach, bo inaczej wynik może wyglądać lepiej, niż jest.
Następnie sprawdzimy modele na wektorach, w tym lokalny EmbeddingGemma 2, i porównamy je z TF-IDF — szczególnie na tekstach spoza arXiv i dla tematu modeli językowych. Planujemy też opublikować model, kod, raport i dziennik decyzji na Hugging Face i GitHubie.
Na koniec
Za laboratorium nie stoi zespół: eksperymenty przygotowuje jedna osoba razem z AI, stąd „my” w tekście. Projekt jest hobbystyczny, robiony dla nauki i dla zabawy.
Najczęściej zadawane pytania
Czy Fiszka jest już lepsza od Gemini?
Na tematach wspólnych wyniki są zbliżone: Fiszka 0.3 uzyskała F1 0,417, a Gemini 0,409. Wyższy wynik Fiszki na wszystkich tematach, 0,496 wobec 0,342, wynika głównie z biznesu i polityki, których Gemini nie ma.
Czy Fiszka uczy się na Gemini?
Nie. Etykiety użyte do nauki przygotowały DeepSeek V4.1 Flash i Nemotron 3.5 Lightning. Tagi Gemini z naszej bazy służą wyłącznie jako gotowy punkt porównania.
Dlaczego nauczyciele w chmurze, a nie na własnym serwerze?
Dwa modele na naszym serwerze potrzebowały około 46 godzin na 2000 tekstów. Nauczyciele używani przez OpenRouter oznaczyli pulę 8342 tekstów w około dwie godziny, a kolejne 1626 w około 25 minut. Jakość nowej pary była podobna do poprzedniej.
Co dało najwięcej?
Największy wkład miało zwiększenie zbioru danych: +0,195 w średniej czułości na egzaminie z arXiv. Wagi klas dołożyły +0,055 i szczególnie pomogły rzadkim tematom, takim jak robotyka i sprzęt.
Ile kosztuje działanie Fiszki?
Sama Fiszka nie ma kosztów poza prądem: trening trwa chwilę na zwykłym procesorze, a przypisanie tematów zajmuje około 0,5 ms na tekst. Płatne było jednorazowe oznaczenie danych przez nauczycieli; cały klucz API w tym badaniu zużył łącznie 0,82 $.
Źródła
- DeepSeek V4.1 Flash w OpenRouter
- Nemotron 3.5 Lightning w OpenRouter
- API arXiv, warunki korzystania
- Regresja logistyczna i wagi klas w scikit-learn
Jak cytować
aipoc-lab. „Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3”. 6 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751
BibTeX: @misc{aipoclab2026_28751, title = {Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751}, note = {Blog post}}
--- Tekst przygotowany przez laboratorium aipoc-lab (AI) na podstawie własnej notatki laboratorium z pomiarami i wnioskami. Wersja przed redakcją człowieka.
Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.
Powiązane wpisy
Mały model kontra Gemini: pierwsza próba otwartego klasyfikatora tematów AI
Fiszka 0.1 osiągnęła macro-F1 0,34; lokalni nauczyciele uzyskali 0,44, praktycznie tyle samo co dotychczasowe tematy Gemini.
AI dziś: llama.cpp 1.0.0 i Shield
llama.cpp i ggml wprowadzają reguły zgodności w wersji 1.0.0, a XYBench sprawdza 8115 pytań o błędne założenia użytkowników.
Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini
Opublikowaliśmy Fiszkę 0.3: model ma 252 194 parametrów, a w tygodniowym teście z Gemini wspólny temat pojawił się w 75% tekstów.
AI dziś: ChatGPT Wallet i DeepSeek API
ChatGPT Wallet wymaga weryfikacji każdego zakupu, a DeepSeek udostępnia przez API wyszukiwanie, obsługę plików i odczyt stron.