aipoc-lab
/katTechnik/temEvaluierung · Open Source/typAnalyse

Ein kleines Modell zieht bei der Themenmarkierung mit Gemini gleich. Fiszka 0.3

Urheberschaft und Freigabe

[KI-generierter Inhalt][Von einem Menschen freigegeben]

Veröffentlichung und Aktualisierung

Veröffentlicht: Aktualisiert:

In Fiszka 0.3 haben wir untersucht, was ein größerer Datensatz, verbesserte ThemenDefinitionen und Klassengewichte bewirken. Anhand von 75 Texten außerhalb von arXiv haben wir ein F1 von 0,496 erzielt, und bei den mit Gemini gemeinsamen Themen 0,417 gegenüber 0,409. Das ist ein Unentschieden, kein Vorsprung. Das bessere Gesamtergebnis von Fiszka resultiert hauptsächlich aus Themen, die Gemini überhaupt nicht hat.

Das Wichtigste

  • Bei einer Prüfung anhand von 2522 arXiv-Arbeiten erreichte Fiszka 0.2.1 mit Klassengewichten eine durchschnittliche Sensitivität von 0,776 für sieben Themen.
  • Anhand von 75 bewerteten Texten außerhalb von arXiv erzielte Fiszka 0.3 ein F1 von 0,496, und bei den mit Gemini gemeinsamen Themen lag das Ergebnis bei 0,417 gegenüber 0,409.
  • Das Ergebnis wurde vor allem durch mehr Daten verbessert: deren Beitrag betrug +0,195 und der der Klassengewichte +0,055.
  • Die gesamte Untersuchung, zusammen mit den Prüfungen der Lehrermodelle und Definitionsversuchen, kostete insgesamt 0,82 $, und Fiszka selbst arbeitet ohne API-Gebühren.

Von Fiszka 0.1 zu 0.3

Dies ist eine Fortsetzung unseres Beitrags „Kleines Modell gegen Gemini“, in dem wir Fiszka 0.1 vom 4. November beschrieben haben. Damals erzielten wir ein Makro-F1 von 0,34 gegenüber 0,44 bei Gemini. Wir sahen auch, dass unscharfe ThemenDefinitionen mehr ins Gewicht fallen können als die Modellwahl. Fiszka ist unser kleiner Klassifikator, der Texten Themen wie Agenten, Sicherheit oder Robotik zuordnet. Das Labor sammelt täglich Arbeiten von arXiv, Unternehmensblogbeiträge und Nachrichten. Bisher wurden die Themen von Gemini in der Cloud zugewiesen. Fiszka arbeitet lokal, ohne API, und soll öffentlich zugänglich sein.

Was wir geändert haben

In den Definitionen 0.2 haben wir die Anzahl der Themen von 14 auf 17 erhöht. Wir haben maschinelles Lernen (ml), Politik und Regulierung (policy) sowie Wirtschaft (business) hinzugefügt. Wir haben auch die Beschreibungen zu Sprachmodellen, Evaluation, Agenten, Open Source und Werkzeugen präzisiert. Jedes Thema hat Hinweise darauf, wann es zugewiesen werden soll und wann nicht. Die Hauptregel: Es zählt, worum es in dem Text geht, und nicht, welches Werkzeug verwendet wurde. Separat haben wir die Evaluation verbessert, also das Thema im Zusammenhang mit der Bewertung von Modellen. Lehrer wiesen es 39% der Texte zu, während ein Mensch es bei 17% derselben arXiv-Arbeiten markierte. Allein die verbesserte Definition senkte das Ergebnis auf 34%. Erst eine separate Ja/Nein-Frage – ob sich der Text auf ein Werkzeug zur Bewertung der Modelle anderer bezieht – senkte es auf 18%. Ein zweiter Lehrer beantwortete diese Frage in 98% der Fälle mit „ja“, weshalb sie letztendlich nur von einem Modell gestellt wird. Wir haben auch die Lehrer gewechselt. Anstatt zweier Modelle, die auf unserem Server liefen, nutzten wir über OpenRouter DeepSeek V4.1 Flash unter MIT-Lizenz sowie Nemotron 3.5 Lightning von NVIDIA unter OpenMDW 1.1-Lizenz. Ein Thema landete im Label, wenn beide Modelle es anzeigten. Bei der Prüfung von Fiszka 0.1 erreichte dieses Paar 0,452, das vorherige Paar 0,436. Der Unterschied lag im Bereich des Rauschens, weshalb wir uns aufgrund der Zeit für die neue Lösung entschieden haben: etwa 0,7 bis 1,2 Sekunden pro Text statt etwa 70 Sekunden. Wir haben auch den Trainingsdatensatz vergrößert. Fiszka 0.2 nutzte 2000 Texte, Version 0.2.1 nutzte 8342 Texte vor dem 18. Oktober 2026, und 0.3 nutzte 9968. Die letzten 1626 Texte stammten von außerhalb von arXiv: aus Unternehmensblogs und Nachrichten vom August und September. Wir haben Klassengewichte hinzugefügt, das heißt, wir haben den Einfluss seltener Themen wie Robotik, Hardware und Sicherheit beim Training erhöht. Wir haben das Modell beibehalten, das bei Fiszka 0.1 am besten abgeschnitten hatte: TF-IDF mit logistischer Regression. Vereinfacht ausgedrückt zählt das Modell Wörter im Text und weist ihm auf dieser Basis Themen zu. Es arbeitet mit etwa 0,5 ms pro Text auf einem gewöhnlichen Prozessor. In dieser Runde haben wir Vektormodelle ausgelassen, da die Vektoren neuer Texte noch berechnet wurden.

Wie wir die Prüfung durchgeführt haben

Der erste Teil umfasste 2522 arXiv-Arbeiten, die zwischen dem 18. und 31. Oktober 2026 veröffentlicht wurden, also später als alle Trainingstexte lagen. Als Referenzpunkt übernahmen wir die von den Autoren der Arbeiten zugewiesenen Kategorien, zum Beispiel cs.RO für Robotik. Die arXiv-Metadaten stehen unter der CC0-Lizenz. Dieser Teil misst die Sensitivität: den Prozentsatz der Arbeiten mit einer bestimmten Kategorie, die das Modell erkannt hat. Wir haben auch die durchschnittliche Anzahl der einem Text zugewiesenen Themen überprüft, um zu bewerten, ob das Modell sein Ergebnis nicht dadurch aufbessert, dass es viele Themen zuweist. Der zweite Teil bestand aus 76 Texten außerhalb von arXiv aus demselben Zeitraum, aus Unternehmensblogs und Nachrichten von 12 Quellen. Wir haben sie manuell markiert und anschließend einen Teil der Labels noch einmal überprüft. Einen Text stuften wir als nicht bewertbar ein, daher berechnen wir die Ergebnisse für 75. Hier haben wir Präzision, Sensitivität und F1 gemessen — ein Maß, das Präzision und Sensitivität verbindet.

Ergebnisse auf arXiv

Version

Durchschnittliche Sensitivität (7 Themen)

Themen pro Text

Robotik

Hardware

Sicherheit

Fiszka 0.2 (2000 Texte)

0,526

1,93

0,30

0,05

0,56

Fiszka 0.2.1 ohne Klassengewichte (8342)

0,721

1,82

0,67

0,43

0,87

Fiszka 0.2.1 (8342, Klassengewichte)

0,776

1,97

0,83

0,62

0,90

| Fiszka 0.3 (9968, Klassengewichte) | 0,756 | 1,84 | 0,83 | 0,57 | 0,89 | Der Übergang von 0,526 auf 0,721 nach der Vergrößerung des Datensatzes ergab +0,195. Die Klassengewichte brachten weitere +0,055 und hoben das Ergebnis auf 0,776. Am meisten profitierten seltene Themen: Die Sensitivität für Hardware stieg von 0,43 auf 0,62, und für Robotik von 0,67 auf 0,83. Bei den sechs mit Version 0.1 gemeinsamen Themen sank das Ergebnis zuerst von 0,537 auf 0,497 in Version 0.2 und stieg dann auf 0,780 in 0.2.1. Fiszka 0.3 hielt das Niveau von 0.2.1. Der Unterschied hängt mit einer höheren Schwelle für die Themenzuweisung und einer geringeren Anzahl von Themen pro Text zusammen. Hardware ist schwieriger zu vergleichen: In der Prüfung gab es nur 21 Arbeiten mit dieser Kategorie, sodass eine Arbeit das Ergebnis um etwa 0,05 verändert.

Ergebnisse außerhalb von arXiv

System

Präzision

Sensitivität

F1

F1 nur bei Themen, die auch Gemini hat

Gemini (bisherige Tags)

0,295

0,407

0,342

0,409

Fiszka 0.2.1

0,414

0,575

0,481

0,368

Fiszka 0.3

0,441

0,566

0,496

0,417

| Fiszka 0.2.1 ohne Klassengewichte | 0,337 | 0,301 | 0,318 | – | Bei den mit Gemini gemeinsamen Themen haben wir ein Unentschieden: Das F1 beträgt 0,417 für Fiszka 0.3 und 0,409 für Gemini. Das höhere Fiszka-Ergebnis, berechnet für alle Themen – 0,496 gegenüber 0,342 –, rührt hauptsächlich von Themen her, die Gemini überhaupt nicht hat, nämlich Wirtschaft und Politik. Wirtschaft betraf 34 von 75 Texten. Wir beschreiben dies nicht als einen Vorsprung beim gemeinsamen Themensatz. Die zusätzlichen 1626 Texte außerhalb von arXiv halfen in den Bereichen, aus denen sie stammten: Das F1 bei den mit Gemini gemeinsamen Themen stieg von 0,368 für Fiszka 0.2.1 auf 0,417 für 0.3. Die Variante ohne Klassengewichte schnitt mit einem F1 von 0,318 schlecht ab und wies 17 Texten kein einziges Thema zu.

Wir haben auch manuelle Labels überprüft

Während der manuellen Markierung landete das Thema „Sprachmodelle“ in 29 von 75 Texten. Der Grund war oft das bloße Auftreten von ChatGPT oder Gemini, selbst in einem Text über etwas anderes, wie „4 tips for styling outfits with Gemini“. Inzwischen besagt die Definition, dieses Thema nicht zuzuordnen, wenn das Sprachmodell lediglich ein Werkzeug für eine andere Aufgabe ist. Wir haben diese 29 Texte gemäß der Definition erneut überprüft. Das Thema blieb in 8 erhalten und fiel in 21 weg. Dies ist ein wichtiger Vorbehalt zu den Ergebnissen: Eine erneute Bewertung gemäß derselben Definition, die auch die Lehrer nutzen, bringt manuelle Labels näher an die Trainingslabels heran. Nach der Überprüfung kam Fiszka beim Thema Sprachmodelle weiterhin schlecht zurecht: Das F1 betrug 0,18. Wir haben keine groben Fehler gefunden, wie etwa die Zuordnung der Europäischen Kommission zur Medizin. Dem am nächsten kam ein Text über Demenz, der als Wirtschaft statt Medizin markiert wurde, sowie ein Text über XR-Brille, der als Werkzeuge statt Hardware markiert wurde. Die übrigen Abweichungen betrafen benachbarte Themen.

Gemini nur zum Vergleich

Fiszka lernt nicht von Gemini. Die Trainingslabels wurden von DeepSeek V4.1 Flash und Nemotron 3.5 Lightning vorbereitet. Die bisherigen Gemini-Tags in unserer Datenbank verwenden wir ausschließlich als fertigen Vergleichspunkt.

Wie viel hat das gekostet

Das Markieren von 8342 Texten durch Lehrer in der Cloud dauerte etwa zwei Stunden, und das von weiteren 1626 etwa 25 Minuten, bei drei parallelen Durchläufen. Zum Vergleich: Zwei Modelle auf unserem Server benötigten etwa 46 Stunden für 2000 Texte. Die Qualität des neuen Paares war ähnlich wie die des vorherigen. Der gesamte in der Untersuchung verwendete API-Schlüssel verbrauchte laut dem OpenRouter-Panel vom 6. November insgesamt 0,82 $. Der Betrag umfasst die Prüfungen der Kandidaten für Lehrer, die Definitionsversuche, die Markierung aller 9968 Texte und die Evaluierungsfragen. Dies sind keine Kosten umgerechnet auf einen Text. Fiszka selbst kostet außer Strom nichts. Das Training dauert auf einem gewöhnlichen Prozessor einen Moment, und die Themenzuweisung beansprucht etwa 0,5 ms pro Text.

Was wir gelernt haben und was als Nächstes kommt

In diesem Experiment brachten mehr Daten mehr als die Korrektur in Form von Klassengewichten: jeweils +0,195 und +0,055. Wir haben auch gesehen, dass ein schlecht definiertes Thema andere verdrängen kann. Bei einem Limit von drei Themen tauchte die Evaluation in 39% der Texte auf und nahm seltenen Kategorien den Platz weg. Wir haben zudem festgestellt, dass manuelle Labels sich nicht immer an die Definitionen halten. „Sprachmodelle“ haben wir aus Gewohnheit Texten zugeordnet, die ChatGPT oder Gemini erwähnten. Ohne eine erneute Überprüfung hätten wir dies als eine Schwäche des Modells ansehen können. Der Vergleich mit einem fertigen System muss bei gemeinsamen Themen durchgeführt werden, da das Ergebnis sonst besser aussehen kann, als es ist. Als Nächstes werden wir Vektormodelle testen, darunter das lokale EmbeddingGemma 2, und sie mit TF-IDF vergleichen – insbesondere bei Texten außerhalb von arXiv und für das Thema Sprachmodelle. Wir planen außerdem, das Modell, den Code, den Bericht und das Entscheidungsprotokoll auf Hugging Face und GitHub zu veröffentlichen.

Zum Schluss

Hinter dem Labor steht kein Team: Die Experimente werden von einer Person zusammen mit KI vorbereitet, daher das „wir“ im Text. Das Projekt ist ein Hobbyprojekt, das für die Wissenschaft und zum Spaß betrieben wird.

Häufig gestellte Fragen

Ist Fiszka bereits besser als Gemini?

Bei den gemeinsamen Themen sind die Ergebnisse ähnlich: Fiszka 0.3 erzielte ein F1 von 0,417, und Gemini 0,409. Das höhere Fiszka-Ergebnis bei allen Themen, 0,496 gegenüber 0,342, resultiert hauptsächlich aus Wirtschaft und Politik, die Gemini nicht hat.

Lernt Fiszka von Gemini?

Nein. Die zum Lernen verwendeten Labels wurden von DeepSeek V4.1 Flash und Nemotron 3.5 Lightning vorbereitet. Gemini-Tags aus unserer Datenbank dienen ausschließlich als fertiger Vergleichspunkt.

Warum Lehrer in der Cloud und nicht auf dem eigenen Server?

Zwei Modelle auf unserem Server benötigten etwa 46 Stunden für 2000 Texte. Die von OpenRouter genutzten Lehrer markierten einen Pool von 8342 Texten in etwa zwei Stunden und weitere 1626 in etwa 25 Minuten. Die Qualität des neuen Paares war ähnlich wie die des vorherigen.

Was hat am meisten gebracht?

Den größten Beitrag leistete die Vergrößerung des Datensatzes: +0,195 bei der durchschnittlichen Sensitivität in der arXiv-Prüfung. Klassengewichte brachten +0,055 und halfen besonders seltenen Themen wie Robotik und Hardware.

Was kostet der Betrieb von Fiszka?

Fiszka hat außer Strom keine Kosten: Das Training dauert auf einem gewöhnlichen Prozessor einen Moment, und die Themenzuweisung beansprucht etwa 0,5 ms pro Text. Kostenpflichtig war die einmalige Markierung der Daten durch die Lehrer; der gesamte API-Schlüssel in dieser Untersuchung verbrauchte insgesamt 0,82 $.

Quellen

Wie zu zitieren

aipoc-lab. „Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3“. 6 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751 BibTeX: @misc{aipoclab2026_28751, title = {Mały model dorównał Gemini w tagowaniu tematów. Fiszka 0.3}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/maly-model-dorownal-gemini-w-tagowaniu-tematow-fiszka-0-3-28751}, note = {Blog post}}

Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.

Verwandte Beiträge

/katTechnik/temAgenten · Open Source · Werkzeuge/podCommunity · NVIDIA/typNachrichten

KI heute: llama.cpp 1.0.0 und Shield

Diese Übersicht behandelt fünf KI-Anwendungen, darunter llama.cpp 1.0.0, IT-Portal-Agenten von Shield und die Analyse von Patientendaten durch Dyania Health.

/katTechnik/temKI in Unternehmen · Open Source · Werkzeuge/podDeepSeek · Google/typNachrichten

KI heute: ChatGPT Wallet und DeepSeek API

Fünf neue Ankündigungen zeigen KI-Anwendungen von ChatGPT Wallet und DeepSeek-API über Google-Wetterdaten bis zu Gemini in Chrome.