aipoc-lab
Makieta wizualizacji sieci neuronowej Fiszki: wektor tekstu z 768 liczbami, dwie warstwy (128 i 64 neurony) i wyjścia tematów
/katTechnik/temEvaluierung · LLM · Open Source/typAnalyse

Kleines Modell gegen Gemini: Erster Test eines offenen KI-Themenklassifikators

Urheberschaft und Freigabe

[KI-generierter Inhalt][Von einem Menschen freigegeben]

Veröffentlichung und Aktualisierung

Veröffentlicht: Aktualisiert:

Das Wichtigste

  • TF-IDF mit logistischer Regression erreichte einen Macro-F1 von 0,34, was etwa 79% des Ergebnisses der lokalen Lehrer entspricht.
  • Die lokalen Lehrer erzielten 0,436 gegenüber 0,439 für die bisherigen Gemini-Themen — praktisch das Gleiche.
  • TF-IDF schnitt in 93% und 97% der Ziehungen besser ab als Vektormodelle, es gibt jedoch keinen Grund, es als überlegen anzusehen; es ist nicht schlechter.
  • Versteckte Wiederholungen zeigten, dass unsere manuellen Markierungen oft nicht konsistent waren.
  • In Version 0.2 planen wir, die Themen zu präzisieren, eine neue Prüfung vorzubereiten und dann das Modell sowie die Materialien zu veröffentlichen.

Warum wir einen eigenen Klassifikator bauen

Wir sammeln täglich KI-Texte: arXiv-Arbeiten, Firmenblogbeiträge und Nachrichten. Jedem Text weisen wir Themen wie Agenten, Sicherheit oder Robotik zu. Bisher tat dies Gemini in der Cloud. Wir möchten diese Arbeit zu uns verholen, offene Modelle nutzen und den fertigen Klassifikator öffentlich zugänglich machen.

Wir haben auch einen zweiten Grund: Wir wollen besser verstehen, wie Modelle in der Praxis lernen. Heute können wir das auf unserer eigenen Hardware überprüfen. Unser Server aus dem Jahr 2011 reicht für Experimente aus, die vor Kurzem noch ein Team und teure Ausrüstung erforderten. Wir haben das Modell arbeitshalber Fiszka genannt. Version 0.1 ist ein erster Versuch, kein fertiges Produkt.

Gemini und Gemma sind unterschiedliche Modelle

Fiszka und unser Chat verwenden Vektoren von EmbeddingGemma 2 (embeddinggemma-2:270m). Dies ist ein offenes Modell unter der Apache 2.0-Lizenz, das lokal auf unserem Server über Ollama läuft, ohne Konto und ohne Google API. Wir wandeln jeden Text in einen Vektor aus 768 Zahlen um.

Die Wissenslandkarte im Blog nutzt andere Vektoren: Sie stammen von der Google API und dem Modell Gemini Embedding 2 (gemini-embedding-2), wobei jeder Vektor 1536 Zahlen hat. Dies ist eine separate Lösung. In diesem Experiment dient Gemini als Vergleichspunkt, da wir Fiszka mit den Themen vergleichen, die bisher von Gemini vergeben wurden. Weder Geminis Antworten noch seine Labels flossen in das Training von Fiszka oder in den Eingang ihrer Modelle ein. Fiszka wird nicht mit Gemini trainiert.

Wie wir den Test durchgeführt haben

Wir haben 14 Themen vorbereitet. Jedes hatte eine Beschreibung, die angab, wann ein Text dazu gehört und wann nicht. Die Trainingslabels haben wir auf Basis der Schnittmenge der Antworten von zwei Modellen festgelegt: Ornith 1.5 9B unter der MIT-Lizenz und Qwen 3.5 4B. Sie fungierten als Lehrer und liefen über Ollama auf einem Intel i5-2400 Prozessor von 2011 ohne Grafikkarte. Das Markieren von 2000 Texten dauerte insgesamt etwa 46 Stunden. Qwen benötigte etwa 26 Sekunden pro Text und Ornith etwa 42 Sekunden.

Danach haben wir vier kleine Modelle getestet. Das erste wies immer einen festen Satz der häufigsten Themen zu und diente als Baseline, also als Nullniveau. Das zweite nutzte TF-IDF und logistische Regression: TF-IDF zählt Wörter im Text. Das dritte nutzte eine logistische Regression auf EmbeddingGemma 2 Vektoren. Das vierte war ein kleines neuronales Netz mit Schichten von 128 und 64 Neuronen, das ebenfalls auf diesen Vektoren arbeitete.

Für das Training nutzten wir 2000 Texte vor dem 18. Oktober 2026. Die Prüfung umfasste 300 neuere Texte, die im Training nicht enthalten waren. Wir haben sie auf einer speziellen Website manuell markiert; Maßstab waren unsere manuellen Markierungen, nicht die Modellantwort. In 37 Fällen wählten wir „verstehe ich nicht“ und in einem „lässt sich nicht bewerten“. Wir haben also 262 Texte bewertet: 205 von arXiv und 57 aus anderen Quellen. Seltene Themen traten in der Prüfung häufiger auf, daher haben wir die Ergebnisse mit Gewichten versehen, damit sie dem normalen Textstrom entsprechen.

Die Ergebnisse werden als gewichteter Macro-F1 angegeben. Dies ist ein Maß, das F1 für jedes Thema separat berechnet und dann die Ergebnisse so mittelt, dass jedes der 14 Themen gleich zählt. Ein Wert von 1 bedeutet Idealzustand und 0 nur Fehler.

System

Macro-F1

Zeit pro Text

Fester Satz der häufigsten Themen

0,05

–

TF-IDF + logistische Regression

0,34

0,5 ms

EmbeddingGemma 2 + logistische Regression

0,30

ca. 1,7 s pro Vektor + 0,02 ms

EmbeddingGemma 2 + kleines neuronales Netz

0,29

ca. 1,7 s pro Vektor + unter 0,01 ms

Ornith + Qwen (Lehrer)

0,44

ca. 70 s

Gemini (bisherige Themen)

0,44

nicht gemessen

Ein separates Skript überprüfte die Fairness des Vergleichs. Es bestätigte, dass die Prüfung keine Texte aus dem Training enthält, ihre Labels von einem Menschen stammen und das Training weder Labels noch Antworten von Gemini enthält. Es überprüfte auch, dass das Modell die Baseline schlägt und dass die Zahlen im Bericht mit den Daten übereinstimmen.

Was die Ergebnisse sagen – und was nicht

Die lokalen Lehrer erzielten 0,436 und die bisherigen Gemini-Themen 0,439. Das ist praktisch das Gleiche. Das beste kleine Modell, TF-IDF, erreichte etwa 79% des Ergebnisses der Lehrer. In 1000 Bootstrap-Ziehungen waren die Lehrer in 99% der Fälle besser als TF-IDF, daher ist dieser Vorsprung sicher.

TF-IDF schnitt in 93% und 97% der Ziehungen besser ab als Vektormodelle. Das ist zu wenig, um diesen Vorsprung als sicher zu betrachten: Das Konfidenzintervall berührt Null. Die Schlussfolgerung lautet daher, dass TF-IDF „nicht schlechter“ ist als Vektormodelle, und nicht, dass es besser ist oder sie geschlagen hat.

Die Zeit der Vektormodelle resultierte hauptsächlich aus der Umwandlung des Textes in einen Vektor. EmbeddingGemma 2 benötigte dafür auf dem Prozessor etwa 1,7 Sekunden. Das Klassifikatormodell selbst berechnete das Ergebnis danach in einem Bruchteil einer Millisekunde. Die lokalen Lehrer benötigten etwa 70 Sekunden pro Text, sodass das Qualitätsergebnis nicht bedeutet, dass sie genauso schnell arbeiten wie kleine Modelle.

Auch manuelle Markierungen müssen überprüft werden

30 Prüfungstexte wurden ohne Vorankündigung ein zweites Mal zur Markierung vorgelegt. Von 21 Paaren, die verglichen werden konnten, trat derselbe Themensatz nur 7 Mal auf. Die Konsistenz der Markierungen wurde für Themen separat mittels Kappa gemessen: Ein Wert von 1 bedeutet immer dieselbe Wahl und 0 eine Übereinstimmung wie bei einem Münzwurf.

Themen

Kappa

Multimodalität, Medizin, Hardware, RAG

1,0

Werkzeuge, Bildung

0,64–0,69

Sicherheit

0,45

Sprachmodelle, Evaluation

0,22

Agenten

0,13

Open Source

0,0

Modelle machten an ähnlichen Stellen Fehler. Das beste kleine Modell wies das Thema „Evaluation“ in 191 Texten zu, in denen der Mensch es nicht gewählt hatte, obwohl es auch alle 36 treffenden fand. Die Lehrer stuften höchstwahrscheinlich jede Arbeit mit Experimenten als Evaluation ein. Das Thema „Werkzeuge“ wurde vom Modell nur 3 Mal zugewiesen, obwohl der Mensch es 61 Mal wählte, und das Thema „Agenten“ vergab es in 93 Texten zu oft.

Wir bemerkten auch Lücken im Themensatz. Texte über allgemeines maschinelles Lernen landeten bei „Sprachmodellen“, und Materialien über Politik und KI-Regulierung, zum Beispiel über die Europäische Kommission oder die Zusammenarbeit von Laboren und Staaten, hatten keinen passenden Platz. Das niedrige Ergebnis, auch bei Gemini – 0,44 – resultiert vor allem aus den verschwommenen Definitionen einiger Themen und nicht aus der Schwäche der Modelle selbst.

Was wir gelernt haben und wie es weitergeht

Die Definition eines Modells wiegt schwerer als die Modellwahl. Bevor wir die Maschine bewerten, müssen wir die Konsistenz unserer eigenen Markierungen messen. Ohne versteckte Wiederholungen hätten wir das niedrige Ergebnis den Modellen angelastet, obwohl ein Teil der Schwierigkeit darauf zurückzuführen war, dass wir selbst Texten nicht immer dieselbe Themen zuwiesen.

Das Experiment zeigte, dass offene Modelle auf einem alten Prozessor ausreichen, um Themen auf Gemini-Niveau zu vergeben. Ein einfaches Modell ist ein guter Anfang: Es arbeitet schnell und ist leicht zu überprüfen. In diesem Versuch schnitt es nicht schlechter ab als ein neuronales Netz, obwohl die Ergebnisse keine Grundlage für die Feststellung bieten, dass Vektormodelle schlechter sind.

In Fiszka 0.2 planen wir, die Themen maschinelles Lernen, Politik und Regulierung – einschließlich der Zusammenarbeit von Laboren und Staaten – sowie Wirtschaft und Initiativen hinzuzufügen. Wissenschaftliche Arbeiten werden ein separates Textmerkmal sein und kein Thema. Wir wollen auch die Definitionen der Themen Sprachmodelle, Evaluation, Agenten, Open Source und Werkzeuge schärfen.

Wir werden eine neue Portion Texte für die Prüfung vorbereiten. Die alte Prüfung werden wir nicht zur Verbesserung der Definitionen nutzen, da das Ergebnis eines solchen Tests verfälscht wäre. Nach Version 0.2 planen wir, das Modell, den Code, den Bericht und das Entscheidungsprotokoll auf GitHub und Hugging Face zu veröffentlichen.

Hinter dem Labor steht kein Team: Wir bereiten Experimente gemeinsam als eine Person und KI vor. Dies ist ein Hobbyprojekt, das für die Wissenschaft und zum Spaß gemacht wird.

Häufig gestellte Fragen

Warum einen eigenen Themenklassifikator bauen?

Wir sammeln täglich KI-Texte und vergeben Themen an sie, was bisher Gemini in der Cloud tat. Der eigene Klassifikator soll diese Arbeit auf offene Modelle und in unser Labor verlegen. Wir bauen ihn auch, um zu lernen, wie das Modelltraining funktioniert, und um eine fertige Lösung öffentlich zugänglich zu machen.

Lernt Fiszka von Gemini?

Nein. Die Trainingslabels stammten aus dem gemeinsamen Teil der Antworten von Ornith 1.5 9B und Qwen 3.5 4B. Weder Geminis Antworten noch seine Labels flossen in das Training von Fiszka oder in den Eingang ihrer Modelle ein. Gemini dient ausschließlich als Vergleichspunkt.

Kann ein kleines Modell Gemini bereits ersetzen?

In Version 0.1 noch nicht. Das beste kleine Modell, TF-IDF mit logistischer Regression, erzielte einen Macro-F1 von 0,34 gegenüber 0,44 für Gemini. Die lokalen Lehrer erreichten ein praktisch identisches Ergebnis wie Gemini, benötigten jedoch etwa 70 Sekunden pro Text.

Wie viel kostet das?

Nichts außer Strom. Das Experiment läuft auf unserem Server mit lokalen Modellen, die über Ollama ausgeführt werden, ohne kostenpflichtige API.

Wird Fiszka öffentlich sein?

Ja. Nach der Vorbereitung von Version 0.2 planen wir, das Modell, den Code, den Bericht und das Entscheidungsprotokoll auf GitHub und Hugging Face zu veröffentlichen.

Quellen

--- Text vorbereitet durch das Labor aipoc-lab (AI) auf Basis einer eigenen Labornotiz mit Messungen und Schlussfolgerungen. Version vor der menschlichen Redaktion.

Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.

Verwandte Beiträge

/katEcosystem/temAgenten · LLM · Open Source/podMicrosoft · NVIDIA/typNachrichten

KI heute: Nemotron und PDD Kit

Erfahren Sie mehr über die offenen Nemotron-Modelle von NVIDIA und das PDD Kit von Microsoft Research zur formellen Code-Überprüfung.

/katTechnik/temHardware · LLM · Open Source/podBig Tech (sonstige) · NVIDIA/typNachrichten

KI heute: NVIDIA 6G und AMD InferaSim

Aktuelle Entwicklungen beleuchten NVIDIAs 6G-Tools, AMD InferaSim, TikTok und das Open ASR Leaderboard sowie BlockLock.