Embedding

Wie funktioniert das?

1. Der Text gelangt in das Embedding-Modell, also einen Transformer, der so trainiert wurde, dass ähnliche Bedeutungen nahe beieinander landen.
2. Das Modell gibt einen Vektor fester Länge zurück, z. B. 768 oder 1536 Zahlen, unabhängig von der Textlänge.
3. Vektoren werden durch die Kosinusähnlichkeit verglichen: Je näher an 1, desto näher die Bedeutung.
4. Das Embedding generiert keinen Text. Es beschreibt ihn. Das ist ein anderes Modell als dasjenige, das im Chat antwortet.

Wie macht das unser Labor?

• Zwei Modelle, zwei Aufgaben: Gemini (1536 Zahlen) berechnet die Vektoren aller Arbeiten und Einträge in der Datenbank, aus denen Wissenskarte, Reels und der KI-Forschungsindex entstehen; EmbeddingGemma (768 Zahlen) läuft lokal auf unserem Server, kostenlos, und bedient den Chat.
• Auswahl des Chat-Modells per Messung, nicht nach Ranking: Wir verglichen Kandidaten anhand von 18 Fragen aus unserer Datenbank. EmbeddingGemma fand den richtigen Text unter den ersten fünf 18 Mal von 18 (MRR 0,917).
• Ein kostenloses Limit ist auch ein Limit: Gemini berechnet jeden Text im Batch als separate Anfrage. Beim Tageslimit von 1 000 schaffen wir 40 Texte pro Stunde, und eine Welle von ~850 ausstehenden Zusammenfassungen hat uns einst ein Reel für über einen Tag blockiert.
• Lokal gibt es auch Kosten: Der Server berechnet jeweils eine Anfrage, sodass 128 Texte 58,5 s dauerten und Chat-Fragen in dieser Zeit warten mussten. Deshalb berechnen wir Chat-Vektoren in kleinen Batches stündlich.

Wann welches Modell?

• Lokales Modell (z. B. EmbeddingGemma, Qwen3-Embedding, bge-m3): Daten verlassen das Unternehmen nicht, Kosten 0 Euro, aber ein Server ist erforderlich und es rechnet langsamer.
• Cloud-Modell (Gemini, OpenAI): Schneller Start und keine Hardware nötig, aber Limits, Kosten bei großem Maßstab und Daten werden nach außen gesendet.
• Immer: Frage und Dokumente müssen durch dasselbe Modell laufen. Vektoren aus verschiedenen Modellen lassen sich nicht vergleichen.

Häufige Fallen

• Auswahl eines Modells aus einem fremden Ranking statt anhand von 20–30 eigenen Fragen.
• Modellwechsel ohne Neuberechnung der gesamten Datenbank.
• Kurze, umgangssprachliche Fragen („und die Vektoren?“) treffen schlecht. Wir fügen ihnen vor der Vektorberechnung Kontext hinzu, was die Treffer von 24 auf 30 von 30 steigerte.