aipoc-lab

Fiszka 0.3 ist öffentlich. Das Modell, die Karte und eine Woche in der Produktion neben Gemini

Urheberschaft und Freigabe

[KI-generierter Inhalt][Von einem Menschen freigegeben]

Veröffentlichung und Aktualisierung

Veröffentlicht: Aktualisiert:

Wir veröffentlichen die Gewichte von Fiszka 0.3, die Modellkarte und den Quellcode. Eine Woche lang hat Fiszka neuen Blogbeiträgen Themen zugewiesen, während Gemini dieselben Materialien im Schattenmodus taggte. Bei 1298 Texten, die von beiden Seiten getaggt wurden, gab es in 75% der Fälle mindestens ein gemeinsames Thema. Wir haben das Modell auch anhand manuell markierter Texte überprüft und beschreiben, wo seine Ergebnisse Einschränkungen aufweisen.

Wichtigste Punkte

  • Wir haben das Modell auf Hugging Face und den Code auf GitHub unter der Apache 2.0-Lizenz veröffentlicht.
  • Fiszka hat 252 194 Parameter, und die veröffentlichten Gewichte lieferten dieselben Ergebnisse wie das Produktionsmodell.
  • Im wöchentlichen Test mit Gemini trat bei 75% von 1298 Texten mindestens ein gemeinsames Thema auf.
  • Auf zwei manuell markierten Datensätzen erzielte Fiszka einen F1-Wert von 0,51 und 0,55.
  • Die Version 0.4 zeigte keinen deutlichen Vorteil, weshalb wir bei 0.3 geblieben sind.

Fiszka 0.3 ist öffentlich

Wir veröffentlichen Fiszka-Gewichte und die Modellkarte auf Hugging Face sowie den Code auf GitHub. Die Modellkarte ist auf Englisch verfasst und enthält Ergebnisse sowie Einschränkungen. Das Ganze wird unter der Apache 2.0-Lizenz zur Verfügung gestellt, die auch kommerzielle Nutzung und Modifikationen erlaubt. Der Trainingsdatensatz (9.968 Texte mit Labels) ist separat als fiszka-dataset unter CC BY 4.0 veröffentlicht; der Trainingscode liegt im Modell-Repo.

Die Gewichte wurden im safetensors-Format statt in Pickle gespeichert. Pickle kann beim Laden der Datei fremden Code ausführen, weshalb Hugging Face dieses Format als unsicher kennzeichnet. Für Berechnungen genügen die Datei fiszka.py und die numpy-Bibliothek — PyTorch ist nicht erforderlich. Vektoren von Texten werden lokal von Ollama mit EmbeddingGemma 2 berechnet.

Vor der Veröffentlichung verglichen wir die veröffentlichte Datei mit dem in der Produktion laufenden Modell. Bei 2000 zufälligen Vektoren betrug die Wahrscheinlichkeitsdifferenz 0,00, und für 22 echte Texte stimmten die Themen zu 22 von 22 überein.

Wir veröffentlichen weder die zum Training verwendeten Texte, da es sich um fremde Artikel handelt, noch den Trainingscode. Dieser ist mit der Laborbasis verflochten und wird in einem zweiten Schritt nach der Bereinigung veröffentlicht.

Dies ist der dritte Beitrag über Fiszka: Zuvor beschrieben wir die Version 0.1 am 4. November sowie 0.3 am 6. November.

Wie Fiszka funktioniert

Täglich sammeln wir KI-Texte: Arbeiten aus arXiv, Blogbeiträge von Unternehmen und Nachrichten. Jeder Text kann 0 bis 3 Themen aus einer Liste von 17 Kategorien erhalten, wie Agenten, Sicherheit, Robotik oder Wirtschaft. Fiszka ist unser neuronales Netz, das diese Themen zuweist.

Wir haben es von Grund auf auf dem Laborserver aufgebaut und trainiert. Das Netz hat 252 194 Parameter und Schichten der Größen 256, 128 und 64 sowie eine direkte Verbindung zu den Themen. Ein fertiges, extern bereitgestelltes Element ist das Modell EmbeddingGemma 2, das Text in einen Vektor aus 768 Zahlen umwandelt. Fiszka verarbeitet diesen Vektor und nicht den Rohtext.

Seit dem 7. November weist Fiszka jedem neuen Text im Labor Themen zu. Auf der Seite /fiszka kann man einen Text auswählen und die Berechnungen des Netzes im Browser Schicht für Schicht verfolgen.

Eine Woche in der Produktion, Gemini im Schattenmodus

Vom 7. bis zum 13. November taggte Fiszka Texte im Blog, während Gemini dieselben Materialien ausschließlich für eine Vergleichstabelle erhielt. Einen solchen Modus nennen wir Schattenmodus: Das Modell arbeitet mit echten Daten, aber seine Ergebnisse ersetzen nicht die Produktionsergebnisse. An Tagen ohne neue Texte gab es nichts zu vergleichen.

In der Tabelle fanden sich 1300 Texte für die aktuelle Version von Fiszka, die mit EmbeddingGemma-Vektoren arbeitet, sowie 286 Texte vom ersten Tag für die frühere Variante 0.3, die auf Wörtern und TF-IDF basierte. Die Ergebnisse unten beziehen sich auf 1298 Texte, die von beiden Seiten getaggt wurden.

Vergleich anhand von 1298 Texten

Ergebnis

Mindestens ein gemeinsames Thema

75% der Texte

Exakt derselbe Themensatz

22% der Texte

Durchschnittliche Anzahl der Themen: Gemini

1,84 pro Text

Durchschnittliche Anzahl der Themen: Fiszka

1,90 pro Text

Texte ohne jedes Thema von Fiszka

13

Ein Teil der Unterschiede ergab sich aus Themen, die Gemini in unserer Konfiguration überhaupt nicht hatte: maschinelles Lernen, Wirtschaft und Politik. Als wir den Vergleich auf 861 Texte beschränkten, in denen Fiszka keines dieser Themen verwendete, trat in 93% der Fälle mindestens ein gemeinsames Thema auf.

Auch die Art der Kategorienutzung unterschied sich. Gemini wies das Thema „Evaluation“ 371 Mal zu, Fiszka 157 Mal. In unserer Definition bezeichnet Evaluation eine Arbeit, deren Hauptresultat ein Werkzeug zur Bewertung fremder Modelle ist, zum Beispiel ein Benchmark oder eine Metrik. Beim manuellen Markieren von arXiv-Arbeiten kamen wir auf etwa 17% solcher Texte; im wöchentlichen Test wies Gemini diese Kategorie 29% der Texte zu und Fiszka 12%.

Das Thema „Automatisierung“ tauchte bei Gemini 142 Mal und bei Fiszka 29 Mal auf. Unser Prompt für Gemini enthielt die Regel, Automatisierung zu wählen, wenn nichts anderes passt. In der Praxis wurde diese Kategorie bei Gemini daher zu einer Sammelstelle für die übrigen Texte.

Die Übereinstimmung mit Gemini besagt nicht, welche Seite recht hat. Dient dazu dienen manuell markierte Texte.

Ergebnisse im Vergleich zu manuellen Markierungen

Zur Bewertung verwendeten wir das F1-Maß. Es verbindet zwei Dinge: ob das Modell die richtigen Themen gefunden und ob es keine fehlerhaften hinzugefügt hat. Testtexte wurden von uns manuell markiert, und Fiszka sah sie während des Trainings nicht.

Testdatensatz

F1 von Fiszka

Erster Datensatz, 75 Texte

0,51

Zweiter Datensatz, 83 neuere Produktionstexte

0,55

Der zweite, unabhängige Datensatz hielt ein ähnliches Ergebnisniveau. Bei 2522 arXiv-Arbeiten fand Fiszka 80% der Themen, die sich aus den von den Autoren selbst vergebenen Kategorien ergaben.

Fiszka lernte anhand von Labels zweier offener Sprachmodelle: DeepSeek und Nemotron. Ein Thema gelangte nur dann in die Trainingsdaten, wenn beide Modelle übereinstimmten. Im zweiten Datensatz hatten diese Labels selbst einen F1-Wert von 0,51 und Fiszka 0,55. In diesem Vergleich entsprach Fiszka somit der Qualität der Labels, von denen sie lernte. Die Einschränkung liegt in der Qualität dieser Labels und nicht in der Größe des Netzes.

In unserem Test hatten die Tags von Gemini 3.5 Flash Lite im ersten Datensatz einen F1-Wert von 0,34 und Fiszka 0,51. Dies ist das Ergebnis unseres internen Tests unserer Konfiguration und keine Bewertung von Gemini: Die Tags entstanden mit unserem Prompt und einer älteren Liste von 13 Themen, ohne Wirtschaft und Politik. Ein Teil der Unterschiede resultiert also aus Themen, nach denen wir Gemini überhaupt nicht gefragt hatten. In unserer Anwendung schnitt Fiszka besser ab, und mehr besagt diese Zahl nicht. Fiszka hat nicht anhand von Gemini-Tags gelernt; wir nutzten sie ausschließlich zum Vergleich.

Warum wir 0.3 und nicht 0.4 veröffentlichen

Vor der Veröffentlichung überprüften wir die Version 0.4. Sie nutzte dasselbe Netz, las aber zusätzlich 5000 Wörter direkt aus dem Text und hatte 337 211 Parameter. Im ersten Datensatz erzielte sie einen F1-Wert von 0,486 gegenüber 0,510 bei 0.3. Im zweiten betrug das Ergebnis 0,580 gegenüber 0,554. Insgesamt war das ein Unentschieden.

Wir versuchten auch, Fiszka an 160 manuell markierten Texten nachzutrainieren. Der F1-Wert stieg um 0,010, was im Rahmen des Zufalls liegt. Bei Datensätzen von etwa 80 Texten sind Unterschiede in der Größenordnung von 0,03 Rauschen. Wir sahen daher keinen deutlichen Vorteil, der eine Änderung des Modells rechtfertigen würde, und veröffentlichen 0.3. Vorerst haben wir die Arbeit an Verbesserungen von Fiszka abgeschlossen. Wir werden zu ihnen zurückkehren, wenn ein externer Grund auftaucht, zum Beispiel mehr manuell markierte Texte oder ein stärkerer Lehrer.

Einschränkungen

Die Testdatensätze sind klein: Sie umfassen 75 und 83 Texte. Jeder Text wurde von einer Person markiert, die bei einigen Themen – darunter Sprachmodelle, Evaluation, Agenten und Open Source – selbst inkonsistent war. Fiszka weist das Thema „Sprachmodelle“ zu selten zu, weil einer der Lehrer-Modelle es selten wählte und nur wenige solcher Labels ins Training gelangten.

Das Modell wurde an englischen KI-Texten trainiert. Wir haben es weder in anderen Sprachen noch in anderen Bereichen überprüft. Es funktioniert ausschließlich mit Vektoren aus EmbeddingGemma 2 in genau diesem Eingabeformat.

Zum Schluss

Das Labor wird von einer Person betrieben, Creative AI Driven PM, ohne formale technische Ausbildung. Sie baut es mit Unterstützung von KI auf und hält fest, was funktioniert hat und was nicht.

Häufig gestellte Fragen

Bedeutet die Übereinstimmung mit Gemini, dass Fiszka recht hatte?

Nein. Im wöchentlichen Test haben wir die Ergebnisübereinstimmung gemessen, und diese allein zeigt nicht an, welche Seite die richtigen Themen zugewiesen hat. Zur Bewertung von Fiszka verglichen wir ihre Ergebnisse mit manuell markierten Texten, die das Modell während des Trainings nicht gesehen hatte.

Veröffentlichen wir die zum Training verwendeten Texte und den Trainingscode?

Wir veröffentlichen keine zum Training verwendeten Texte, da es sich um fremde Artikel handelt. Wir stellen auch den Trainingscode noch nicht zur Verfügung, da er mit der Laborbasis verflochten ist. Wir planen, ihn in einem zweiten Schritt nach der Bereinigung zu veröffentlichen.

Was sind die Einschränkungen von Fiszka?

Die Testdatensätze umfassen 75 und 83 Texte, und jeder Text wurde von einer Person markiert. Fiszka wurde an englischen KI-Texten trainiert und von uns in keinen anderen Sprachen oder Bereichen überprüft. Sie funktioniert nur mit EmbeddingGemma 2-Vektoren in genau diesem Eingabeformat.

Warum haben wir die Version 0.3 statt 0.4 veröffentlicht?

Die Ergebnisse von 0.4 und 0.3 unterschieden sich zwischen den Datensätzen, und insgesamt ergab sich ein Unentschieden. Ein zusätzliches Vortraining an 160 manuell markierten Texten steigerte den F1-Wert um 0,010, was im Rahmen des Zufalls liegt. Bei so kleinen Datensätzen hatten wir keinen triftigen Grund, das Modell zu ändern.

Wie zu zitieren

aipoc-lab. „Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini“. 14. November 2026. https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442

BibTeX: @misc{aipoclab2026_30442, title = {Fiszka 0.3 jest publiczna. Model, karta i tydzień na produkcji obok Gemini}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/fiszka-0-3-jest-publiczna-model-karta-i-tydzien-na-produkcji-30442}, note = {Blog post}}

--- Text vorbereitet durch das Labor aipoc-lab (AI) auf Basis einer eigenen Labornotiz mit Messungen und Schlussfolgerungen. Version vor menschlicher Redaktion.

Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.

Verwandte Beiträge

/katTechnik/temAgenten · Open Source · Werkzeuge/podCommunity · NVIDIA/typNachrichten

KI heute: llama.cpp 1.0.0 und Shield

Diese Übersicht behandelt fünf KI-Anwendungen, darunter llama.cpp 1.0.0, IT-Portal-Agenten von Shield und die Analyse von Patientendaten durch Dyania Health.

/katTechnik/temKI in Unternehmen · Open Source · Werkzeuge/podDeepSeek · Google/typNachrichten

KI heute: ChatGPT Wallet und DeepSeek API

Fünf neue Ankündigungen zeigen KI-Anwendungen von ChatGPT Wallet und DeepSeek-API über Google-Wetterdaten bis zu Gemini in Chrome.

/katTechnik/temMultimodal · Open Source · Werkzeuge/podDeepSeek · Google/typNachrichten

KI heute: DeepSeek V4.1-Flash und Kimi K3.1 Pro

Übersicht über Open-Weight-Modelle, Sprachassistenten und Videogenerierungswerkzeuge vom 12. November 2026.