Vektorendatenbank

Wie funktioniert das?

1. Das Modell wandelt jeden Text in einen Vektor um, also in eine Liste von Hunderten oder Tausenden Zahlen. Texte mit ähnlicher Bedeutung erhalten ähnliche Zahlen.
2. Die Vektoren landen zusammen mit dem Text und der Quellenadresse in der Datenbank.
3. Die Nutzerfrage wird durch dasselbe Modell in einen Vektor umgewandelt.
4. Die Datenbank gibt die Texte zurück, deren Vektoren am nächsten liegen. Meistens wird dies über die Kosinus-Ähnlichkeit gemessen: 1 bedeutet identische Bedeutung, 0 bedeutet keinen Zusammenhang.
5. Bei Millionen von Vektoren vergleicht die Datenbank nicht alle miteinander. Sie nutzt einen Index (z. B. HNSW), der schnell die „fast nächsten“ findet.

Wie macht unser Labor das?

• Wir kaufen keine Datenbank. Es ist ein gewöhnliches PostgreSQL mit der pgvector-Erweiterung auf unserem Server für 0 PLN im Monat.
• Zwei Modelle berechnen die Vektoren: Gemini (1536 Zahlen pro Text, mit täglichem Limit für kostenlose Aufrufe) und das lokale EmbeddingGemma (768 Zahlen, berechnet auf unserer Hardware) für den Chat.
• Der Chat antwortet nur dann, wenn der nächste Text den Schwellenwert von 0,764 überschreitet. Den Schwellenwert haben wir durch Messungen an 30 passenden und 6 fremden Fragen ermittelt: Alle passenden lagen über dem Schwellenwert, alle fremden darunter, und der Abstand dazwischen betrug 0,019.
• Das interessanteste Ergebnis: Die Frage „was sind Vektorendatenbanken?“ erzielte eine Ähnlichkeit von 0,733–0,756, also genau so viel wie „wer hat das Spiel gewonnen?“ (0,745). Der Schwellenwert hat gut funktioniert. Einfach gesagt: Unter den ca. 20 Tsd. Texten in der Datenbank handelten nur 3 Titel von Vektoren. Eine Vektorendatenbank findet keine Antwort, die nicht in ihr enthalten ist. Diese Seite ist unter anderem entstanden, damit der Chat eine Quelle dafür hat.

Wann lohnt es sich, wann nicht?

• Lohnt sich: Chat zu Unternehmensdokumenten, Bedeutungssuche, Erkennung von Duplikaten, Empfehlungen „ähnliche Inhalte“.
• Lohnt sich nicht: Bei der Suche nach exakten Werten (Rechnungsnummer, Produktcode) gewinnt die herkömmliche Suche. Ebenso bei einer geringen Anzahl von Dokumenten, die vollständig in das Kontextfenster des Modells passen.

Häufige Fallen

• Modellwechsel = alles neu berechnen. Vektoren aus zwei verschiedenen Modellen sind unvergleichbar.
• Schwellenwert aus der Luft gegriffen. Ohne Messung an echten Fragen lehnt der Chat entweder alles ab oder antwortet auf alles.
• Zu lange Fragmente. Ein Vektor für einen langen Artikel verwischt die Bedeutung. Wir schneiden in Stücke bis zu ca. 1.200 Zeichen.
• Kein Inhalt sieht aus wie ein Schwellenwertfehler. Prüfen Sie zuerst, was in der Datenbank ist, und stimmen Sie erst dann den Schwellenwert ab.