Wissenskarte auf einem lokalen Modell. 23.457 Texte auf unserem Server neu berechnet
Urheberschaft und Freigabe
Veröffentlichung und Aktualisierung
Wir haben die Berechnung von Textvektoren von Gemini auf eine lokal ausgeführte EmbeddingGemma verlagert. Wir haben das gesamte Archiv neu berechnet und die Karte für 23.457 Texte in 72 Sekunden erstellt. Bei der visuellen Bewertung zeigt die neue Karte die Übergänge zwischen den Themen besser, aber ein auf Tags basierender Vergleich entscheidet nicht darüber, welche Karte besser ist. Der Nachbartest an manuell markierten Texten steht noch bevor.
Das Wichtigste
- EmbeddingGemma 2 hat lokal 23.163 Archivtexte in 10,2 Stunden neu berechnet, und weitere 294 Texte in etwa 8 Minuten.
- Die Karte für 23.457 Texte wurde aus fertigen Vektoren in 72 Sekunden erstellt und enthält 38.994 Fäden, die benachbarte Texte verbinden.
- Bei der visuellen Bewertung bildet die Karte von EmbeddingGemma zusammenhängende Themenbereiche, aber das Ergebnis des Tag-Vergleichs ist zugunsten von Gemini verzerrt.
- Eine gemeinsame Vektortabelle dient bereits der Karte und dem Klassifikator Fiszka; weitere Dienste werden nach Tests darauf umgestellt.
Was ist eine Wissenskarte
Wir sammeln täglich Texte über KI: Arbeiten von arXiv, Einträge von Firmenblogs und Nachrichten. Wir fügen auch eigene Einträge und Ausarbeitungen hinzu. Die Wissenskarte zeigt, wie ähnlich diese Texte einander sind.
Jeden Text wandeln wir in ein Embedding um, also in eine Liste von Zahlen, die seinen Inhalt beschreibt. Texte mit ähnlichen Themen erhalten ähnliche Zahlen. Auf der Webseite reduzieren wir diese multidimensionalen Daten mit UMAP auf drei Dimensionen. Jeder Punkt entspricht einem Text, und nah beieinander liegende Punkte betreffen gewöhnlich ähnliche Themen. Ein Faden verbindet einen Text mit seinen zwei nächsten Nachbarn.
Was wir geändert haben
Zuvor haben wir Vektoren für die Karte mithilfe von Gemini Embedding (gemini-embedding-2) berechnet. Das Modell erhielt über die Google Cloud-API 1536 Zahlen pro Text. Wir haben zu EmbeddingGemma 2 (embeddinggemma-2:270m) gewechselt – einem Google-Modell mit offenen Gewichten, das lokal über Ollama auf unserem Server ausgeführt wird. Es hat etwa 271 Mio. Parameter, und die Modelldatei ist etwa 303 MB groß. Jetzt erhält jeder Text 768 Zahlen.
Geändert hat sich auch das, was an das Modell übergeben wird. Gemini erhielt den Titel, eine von Gemini verfasste Zusammenfassung und die Namen der Text-Tags, zum Beispiel „Agenten, Sprachmodelle“. Das Ganze hatte einige Hundert Zeichen. EmbeddingGemma erhält den Titel und bis zu 4000 Zeichen des echten Inhalts, ohne Tags, im Format eines Dokumentes aus der Modellkarte: title: … | text: ….
Element | Zuvor | Jetzt |
|---|---|---|
Modell | Gemini Embedding (gemini-embedding-2) | EmbeddingGemma 2 (embeddinggemma-2:270m) |
Ort der Berechnung | Google Cloud-API | Lokal über Ollama auf unserem Server |
Vektordimension | 1536 Zahlen pro Text | 768 Zahlen pro Text |
Eingabedaten | Titel, Gemini-Zusammenfassung und Tags | Titel und bis zu 4000 Zeichen Inhalt, ohne Tags |
Wir haben auch die Speicherung der Vektoren geordnet. Zuvor hatten dieselben Texte drei Sätze: Gemini für die Karte, separate lokale Chat-Vektoren und einen dritten Satz für den Klassifikator Fiszka. Jetzt nutzen die Karte und Fiszka eine gemeinsame Vektortabelle. Dieselbe Tabelle speist nun den Themenklassifikator Fiszka 0.3, über den wir am 6. November geschrieben haben.
Eine Laborschleife sammelt morgens Texte und berechnet deren Vektoren in einem Zeitfenster, in dem der Server keine andere Arbeit hat. Wir haben diese beiden Aufgaben getrennt, anstatt das Sammeln von Texten mit deren Neuberechnung zu kombinieren. Chat, Suche nach ähnlichen Texten und die Auswahl von Nachrichten für Einträge werden nacheinander auf die gemeinsame Tabelle umgestellt.
Wie lange die Neuberechnung dauerte
Aus den Protokollen geht hervor, dass die Neuberechnung des Archivs mit 23.163 Texten zwischen dem 6. und 7. November 10,2 Stunden dauerte. Am 8. November haben wir Vektoren für 294 Texte berechnet, die in der Zwischenzeit hinzugekommen waren. Dies dauerte etwa 8 Minuten, das heißt etwa 1,6 Sekunden pro Text bei der Verarbeitung in Batches von 16.
Als die Vektoren bereit waren, dauerte die Erstellung der Karte für 23.457 Texte 72 Sekunden. Das Abrufen der Daten aus der Datenbank dauerte 1 bis 3 Sekunden, das Finden der nächsten Nachbarn 11 Sekunden und die Umrechnung von 768 Dimensionen in drei mit UMAP 59 Sekunden. Das Ergebnis waren 38.994 Fäden.
Der vorherige Prozess wurde durch den kostenlosen Tarif von Gemini Embedding eingeschränkt: Bei uns lag dessen Obergrenze bei etwa 1000 Texten pro Tag. Das Limit haben wir am 21. August gemessen; in der Praxis berechnete die Schleife 40 Texte pro Stunde. Das lokale Modell hat ein solches tägliches API-Limit nicht. Wir sind durch die auf dem Server verfügbare Zeit eingeschränkt.
Ist die neue Karte besser?
Wir haben unter anderem verglichen, welcher Prozentsatz an Fäden zwei Texte aus derselben Themenruppe verbindet. Die Karte auf Gemini erreichte 69,8%, und die Karte auf EmbeddingGemma 50,6%. Allein diese Zahl spricht zugunsten von Gemini, entscheidet aber nicht darüber, welche Karte den Inhalt der Texte besser widerspricht.
Den Grund dafür haben wir in den Eingabedaten gefunden. Der Gemini-Vektor wurde aus Text erstellt, der Tag-Namen enthielt. Unser Messwert prüft die Übereinstimmung von Nachbarn mit denselben Tags. Gemini hatte also Wörter im Vektor, deren Anwesenheit der Messwert später belohnte. Dieses Ergebnis sagt aus, ob Tags mit Tags übereinstimmen, und nicht, ob die Karte die Ähnlichkeit des Inhalts gut darstellt. Das ist uns erst nach den Berechnungen bewusst geworden.
Bei der visuellen Bewertung war die Karte auf Gemini in den Ecken verstreut, mit separaten Inseln für Tag-Kombinationen. Die Karte von EmbeddingGemma sieht aus wie ein zusammenhängender Bereich mit einem dichten Zentrum und Übergängen zwischen den Themen. Beispielsweise gehen Themen zu Agenten in Sprachmodelle und Werkzeuge über. Abseits liegen vor allem entfernte Themen wie Arbeiten über Proteine und Biologie. Das ist eine Beobachtung aus der Betrachtung der Karte und kein Ergebnis eines ausschlaggebenden Qualitätstests.
Ein fairer Test steht uns noch bevor: Wir werden die Nachbarn für manuell markierte Texte mit Labels überprüfen, die von keinem Modell stammen. Wir werden ihn im nächsten Beitrag ankündigen, haben aber im Moment noch kein Ergebnis.
Was wir gelernt haben und wie es weitergeht
Wir haben gelernt, dass ein Messwert solide aussehen und dennoch eine andere Frage beantworten kann als die, die wir stellen möchten. Beim Vergleich von Modellen muss man prüfen, woraus die Eingabe für jedes von ihnen berechnet wurde. Das Anheften von Tags an den Text vor der Vektorberechnung kann dazu führen, dass eine Inhaltskarte zu einer Labelkarte wird.
Wir haben auch die praktischen Folgen der Pflege mehrerer Vektorsätze derselben Texte gesehen: Sie können auseinanderlaufen. Am 8. November hat sich die Klassifikator-Webseite genau wegen einer Lücke zwischen den Sätzen nicht aktualisiert. Daher die Entscheidung für eine einzige Tabelle und einen einzigen Prozess, der sie befüllt.
Der Chat wird nach einem Antwortqualitätstest auf dieselbe Tabelle umgestellt. Später übertragen wir die Suche nach ähnlichen Texten, die Auswahl von Nachrichten für Einträge und Notizen. Am Ende schalten wir die Gemini-Vektoren ab. Eine separate Aufgabe bleibt der Test der Karte an manuell markierten Texten.
Zum Schluss
Hinter dem Labor steht kein Team: Die Experimente werden von einer Person zusammen mit KI vorbereitet. Das Projekt ist ein Hobby, das aus Lern- und Spaßgründen betrieben wird.
Häufig gestellte Fragen
Was ist ein Embedding?
Ein Embedding ist eine Liste von Zahlen, die den Inhalt eines Textes beschreibt. Jeder Text erhält einen solchen Vektor, und Texte mit ähnlichem Inhalt haben ähnliche Zahlen. In der Wissenskarte werden Vektoren verwendet, um Texte anzuordnen und ihre nächsten Nachbarn zu finden.
Warum ein lokales Modell statt Gemini?
Das lokale Modell bietet eine gemeinsame Vektortabelle für die Karte, den Klassifikator und nachfolgende Dienste wie den Chat. Es wird nicht durch ein tägliches API-Limit eingeschränkt, und bei der Vektorberechnung verlassen die Daten nicht die Cloud.
Ist die neue Karte besser?
Bei der visuellen Bewertung zeigt die Karte von EmbeddingGemma zusammenhängende Bereiche und Übergänge zwischen Themen besser. Der Tag-Vergleich fällt zugunsten von Gemini aus, ist aber verzerrt: Tags befanden sich in den Eingabedaten von Gemini. Der Nachbartest an manuell markierten Texten wurde noch nicht durchgeführt.
Wie lange dauert die Neuberechnung?
Die Neuberechnung von 23.163 Texten aus dem Archiv dauerte 10,2 Stunden. Das Erstellen der Karte aus fertigen Vektoren für 23.457 Texte dauerte 72 Sekunden.
Quellen
- EmbeddingGemma, dokumentacja Google
- EmbeddingGemma 2 w bibliotece Ollamy
- Gemini API: embeddingi
- UMAP, dokumentacja
Wie zu zitieren
aipoc-lab. „Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze”. 8 listopada 2026. https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065
BibTeX: @misc{aipoclab2026_29065, title = {Mapa wiedzy na lokalnym modelu. 23 457 tekstów przeliczonych na naszym serwerze}, author = {aipoc-lab}, year = {2026}, month = nov, howpublished = {https://aipoclab.creativeaidrivenpm.com/posts/mapa-wiedzy-na-lokalnym-modelu-23-457-tekstow-przeliczonych-29065}, note = {Blog post}}
--- Text vorbereitet vom Labor aipoc-lab (KI) basierend auf einer eigenen Labornotiz mit Messungen und Schlussfolgerungen. Version vor der menschlichen Redaktion.
Herkunftsmanifest dieses Beitrags (JSON) — aus welchen Signalen er entstand, welche Entscheidungen die Schleifen trafen und wann ein Mensch ihn freigab.
Verwandte Beiträge
Fiszka 0.3 ist öffentlich. Das Modell, die Karte und eine Woche in der Produktion neben Gemini
Wir veröffentlichen Fiszka 0.3 mit Modellkarte und Quellcode nach einer erfolgreichen Woche im Vergleichstext mit Gemini.
KI heute: llama.cpp 1.0.0 und Shield
Diese Übersicht behandelt fünf KI-Anwendungen, darunter llama.cpp 1.0.0, IT-Portal-Agenten von Shield und die Analyse von Patientendaten durch Dyania Health.
KI heute: ChatGPT Wallet und DeepSeek API
Fünf neue Ankündigungen zeigen KI-Anwendungen von ChatGPT Wallet und DeepSeek-API über Google-Wetterdaten bis zu Gemini in Chrome.
KI heute: DeepSeek V4.1-Flash und Kimi K3.1 Pro
Übersicht über Open-Weight-Modelle, Sprachassistenten und Videogenerierungswerkzeuge vom 12. November 2026.