Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini
Autorstwo i zatwierdzenie
Publikacja i aktualizacja
Publikujemy wagi Fiszki 0.3, kartę modelu i kod. Przez tydzień Fiszka nadawała tematy nowym tekstom na blogu, a Gemini tagował te same materiały w trybie porównawczym. Na 1298 tekstach, które otagowały obie strony, co najmniej jeden temat był wspólny w 75% przypadków. Sprawdziliśmy też model na tekstach oznaczonych ręcznie i opisujemy, gdzie jego wyniki mają ograniczenia.
Najważniejsze
- Opublikowaliśmy model na Hugging Face i kod na GitHubie na licencji Apache 2.0.
- Fiszka ma 252 194 parametry, a opublikowane wagi dały takie same wyniki jak model na produkcji.
- W tygodniowym teście z Gemini co najmniej jeden wspólny temat pojawił się w 75% z 1298 tekstów.
- Na dwóch zbiorach oznaczonych ręcznie Fiszka uzyskała F1 0,51 i 0,55.
- Wersja 0.4 nie wykazała wyraźnej przewagi, dlatego pozostaliśmy przy 0.3.
Fiszka 0.3 jest publiczna
Publikujemy wagi Fiszki i kartę modelu na Hugging Face, a kod na GitHubie. Karta modelu jest po angielsku i zawiera wyniki oraz ograniczenia. Całość udostępniamy na licencji Apache 2.0, która zezwala także na użycie komercyjne i modyfikacje. Zbiór treningowy (9968 tekstów z etykietami) leży osobno jako fiszka-dataset, na licencji CC BY 4.0; kod treningu jest w repo modelu.
Wagi zapisaliśmy w formacie safetensors, a nie pickle. Pickle może uruchomić cudzy kod podczas wczytywania pliku, dlatego Hugging Face oznacza ten format jako niebezpieczny. Do obliczeń wystarczy plik fiszka.py i biblioteka numpy — PyTorch nie jest potrzebny. Wektory tekstów oblicza lokalnie Ollama z EmbeddingGemma 2.
Przed publikacją porównaliśmy opublikowany plik z modelem działającym na produkcji. Na 2000 losowych wektorach różnica prawdopodobieństw wyniosła 0,00, a dla 22 prawdziwych tekstów tematy zgadzały się 22 na 22.
Nie publikujemy tekstów użytych do nauki, bo są to cudze artykuły, ani kodu treningu. Jest on spleciony z bazą laboratorium i opublikujemy go w drugim kroku, po oczyszczeniu.
To trzeci wpis o Fiszce: wcześniej opisaliśmy wersję 0.1 4 listopada oraz 0.3 6 listopada.
Jak działa Fiszka
Codziennie zbieramy teksty o AI: prace z arXiv, wpisy z blogów firm i wiadomości. Każdy tekst może otrzymać od 0 do 3 tematów z listy 17 kategorii, takich jak agenci, bezpieczeństwo, robotyka czy biznes. Fiszka to nasza sieć neuronowa, która przypisuje te tematy.
Zbudowaliśmy ją i wytrenowaliśmy od zera na serwerze laboratorium. Sieć ma 252 194 parametry i warstwy o rozmiarach 256, 128 i 64, a także skrót prowadzący bezpośrednio do tematów. Gotowym, zewnętrznym elementem jest model EmbeddingGemma 2, który zamienia tekst na wektor 768 liczb. Fiszka przetwarza ten wektor, a nie surowy tekst.
Od 7 listopada Fiszka nadaje tematy każdemu nowemu tekstowi w laboratorium. Na stronie /fiszka można wybrać tekst i zobaczyć obliczenia sieci w przeglądarce, warstwa po warstwie.
Tydzień na produkcji, Gemini w trybie cienia
Od 7 do 13 listopada Fiszka tagowała teksty na blogu, a Gemini otrzymywał te same materiały wyłącznie do tabeli porównawczej. Taki tryb nazywamy cieniem: model działa na prawdziwych danych, ale jego wyniki nie zastępują wyników produkcyjnych. W dniach bez nowych tekstów nie było czego porównywać.
W tabeli znalazło się 1300 tekstów dla obecnej wersji Fiszki, działającej na wektorach EmbeddingGemmy, oraz 286 tekstów z pierwszego dnia dla wcześniejszej odmiany 0.3, która pracowała na słowach i TF-IDF. Wyniki poniżej dotyczą 1298 tekstów, które otagowały obie strony.
Porównanie na 1298 tekstach | Wynik |
|---|---|
Co najmniej jeden wspólny temat | 75% tekstów |
Dokładnie ten sam zestaw tematów | 22% tekstów |
Średnia liczba tematów: Gemini | 1,84 na tekst |
Średnia liczba tematów: Fiszka | 1,90 na tekst |
Teksty bez żadnego tematu od Fiszki | 13 |
Część różnic wynikała z tematów, których Gemini w naszej konfiguracji w ogóle nie miał: uczenia maszynowego, biznesu i polityki. Gdy ograniczyliśmy porównanie do 861 tekstów, w których Fiszka nie użyła żadnego z tych tematów, co najmniej jeden wspólny temat pojawił się w 93% przypadków.
Różnił się też sposób używania kategorii. Gemini przypisał temat „ewaluacja” 371 razy, a Fiszka 157 razy. W naszej definicji ewaluacja oznacza pracę, której głównym wynikiem jest narzędzie do oceniania cudzych modeli, na przykład benchmark lub metryka. Przy ręcznym oznaczaniu prac z arXiv wychodziło nam około 17% takich tekstów; w tygodniowym teście Gemini przypisał tę kategorię 29% tekstów, a Fiszka 12%.
Temat „automatyzacja” pojawił się u Gemini 142 razy, a u Fiszki 29 razy. Nasz prompt dla Gemini zawierał zasadę, by wybierać automatyzację, gdy nic innego nie pasuje. W praktyce ta kategoria stała się więc u Gemini pojemnym wyborem dla pozostałych tekstów.
Zgodność z Gemini nie mówi, która strona ma rację. Do tego porównania służą teksty oznaczone ręcznie.
Wyniki wobec ręcznych oznaczeń
Do oceny użyliśmy miary F1. Łączy ona dwie rzeczy: czy model znalazł właściwe tematy i czy nie dodał błędnych. Teksty testowe oznaczyliśmy ręcznie, a Fiszka nie widziała ich podczas nauki.
Zbiór testowy | F1 Fiszki |
|---|---|
Pierwszy zbiór, 75 tekstów | 0,51 |
Drugi zbiór, 83 nowsze teksty z produkcji | 0,55 |
Drugi, niezależny zbiór utrzymał zbliżony poziom wyniku. Na 2522 pracach z arXiv Fiszka znalazła 80% tematów wynikających z kategorii nadanych przez autorów samych prac.
Fiszka uczyła się na etykietach dwóch otwartych modeli językowych: DeepSeek i Nemotron. Temat trafiał do danych treningowych tylko wtedy, gdy oba modele się zgodziły. Na drugim zbiorze same te etykiety miały F1 0,51, a Fiszka 0,55. W tym porównaniu Fiszka dorównała więc jakości etykiet, z których się uczyła. Ograniczeniem jest jakość tych etykiet, a nie wielkość sieci.
W naszym teście tagi Gemini 3.5 Flash Lite na pierwszym zbiorze miały F1 0,34, a Fiszka 0,51. To wynik naszego wewnętrznego testu naszej konfiguracji, a nie ocena Gemini: tagi powstały z naszym promptem i starszą listą 13 tematów, bez biznesu i polityki. Część różnicy wynika więc z tematów, o które Gemini w ogóle nie pytaliśmy. W naszym zastosowaniu Fiszka wypadła lepiej i tylko tyle mówi ta liczba. Fiszka nie uczyła się na tagach Gemini; wykorzystaliśmy je wyłącznie do porównania.
Dlaczego publikujemy 0.3, a nie 0.4
Przed premierą sprawdziliśmy wersję 0.4. Miała tę samą sieć, ale dodatkowo czytała 5000 słów bezpośrednio z tekstu i miała 337 211 parametrów. Na pierwszym zbiorze uzyskała F1 0,486 wobec 0,510 dla 0.3. Na drugim wynik wyniósł 0,580 wobec 0,554. Łącznie był to remis.
Próbowaliśmy też douczyć Fiszkę na 160 ręcznie oznaczonych tekstach. Wynik F1 wzrósł o 0,010, czyli w granicach przypadku. Przy zbiorach liczących około 80 tekstów różnice rzędu 0,03 to szum. Nie widzieliśmy więc wyraźnej przewagi, która uzasadniałaby zmianę modelu, i publikujemy 0.3. Na razie zamknęliśmy prace nad poprawianiem Fiszki. Wrócimy do nich, gdy pojawi się zewnętrzny powód, na przykład więcej ręcznie oznaczonych tekstów albo mocniejszy nauczyciel.
Ograniczenia
Zbiory testowe są małe: liczą 75 i 83 teksty. Każdy tekst oznaczyła jedna osoba, która przy kilku tematach — między innymi modelach językowych, ewaluacji, agentach i open source — sama bywała niekonsekwentna. Fiszka za rzadko przypisuje temat „modele językowe”, bo jeden z modeli-nauczycieli rzadko go wybierał i niewiele takich etykiet trafiło do nauki.
Model trenowaliśmy na angielskich tekstach o AI. Nie sprawdzaliśmy go na innych językach ani w innych dziedzinach. Działa tylko z wektorami z EmbeddingGemmy 2 w dokładnie tym formacie wejściowym.
Na koniec
Laboratorium prowadzi jedna osoba, Creative AI Driven PM, bez formalnego wykształcenia technicznego. Buduje je z pomocą AI i zapisuje, co zadziałało, a co nie.
Najczęściej zadawane pytania
Czy zgodność z Gemini oznacza, że Fiszka miała rację?
Nie. W tygodniowym teście mierzyliśmy zgodność wyników, a ona sama nie wskazuje, która strona przypisała właściwe tematy. Do oceny Fiszki porównaliśmy jej wyniki z tekstami oznaczonymi ręcznie, których model nie widział podczas nauki.
Czy publikujemy teksty użyte do nauki i kod treningu?
Nie publikujemy tekstów użytych do nauki, ponieważ są to cudze artykuły. Nie udostępniamy też jeszcze kodu treningu, który jest spleciony z bazą laboratorium. Planujemy opublikować go w drugim kroku, po oczyszczeniu.
Jakie są ograniczenia Fiszki?
Zbiory testowe liczą 75 i 83 teksty, a każdy tekst oznaczyła jedna osoba. Fiszkę trenowaliśmy na angielskich tekstach o AI i nie sprawdzaliśmy jej w innych językach ani dziedzinach. Działa tylko z wektorami EmbeddingGemmy 2 w dokładnie tym formacie wejściowym.
Dlaczego opublikowaliśmy wersję 0.3 zamiast 0.4?
Wyniki 0.4 i 0.3 różniły się między zbiorami, a łącznie wyszedł remis. Dodatkowe douczenie na 160 ręcznie oznaczonych tekstach podniosło F1 o 0,010, czyli w granicach przypadku. Przy tak małych zbiorach nie mieliśmy wyraźnego powodu, by zmieniać model.
Jak cytować
aipoc-lab. „Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini”. 14 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442
BibTeX: @misc{aipoclab2026_30442, title = {Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442}, note = {Blog post}}
--- Tekst przygotowany przez laboratorium aipoc-lab (AI) na podstawie własnej notatki laboratorium z pomiarami i wnioskami. Wersja przed redakcją człowieka.
Manifest pochodzenia tego wpisu (JSON) — z jakich sygnałów powstał, jakie decyzje podjęły kolejne pętle i kiedy zatwierdził go człowiek.
Powiązane wpisy
Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze
Przeliczyliśmy 23 457 tekstów na lokalnym serwerze, a gotową mapę wiedzy zbudowaliśmy w 72 sekundy bez API w chmurze.
AI dziś: llama.cpp 1.0.0 i Shield
llama.cpp i ggml wprowadzają reguły zgodności w wersji 1.0.0, a XYBench sprawdza 8115 pytań o błędne założenia użytkowników.
AI dziś: ChatGPT Wallet i DeepSeek API
ChatGPT Wallet wymaga weryfikacji każdego zakupu, a DeepSeek udostępnia przez API wyszukiwanie, obsługę plików i odczyt stron.
AI dziś: DeepSeek V4.1-Flash i Kimi K3.1 Pro
DeepSeek V4.1-Flash poprawił wyniki w 11 testach, Kimi K3.1 Pro oferuje kontekst 1 mln tokenów, a Gemini Omni 1.2 Flash generuje klipy do 15 sekund.