RAG

Wie funktioniert das?

1. Vorbereitung (einmalig): Dokumente werden in Fragmente zerlegt, jedes wird in einen Vektor (Embedding) umgewandelt und in einer Vektordatenbank gespeichert.
2. Frage: Die Frage des Nutzers wird mit demselben Modell in einen Vektor umgewandelt.
3. Suche: Die Datenbank gibt die bedeutungsmäßig nächstgelegenen Fragmente zurück.
4. Antwort: Das Modell erhält die Frage zusammen mit den Fragmenten und der Anweisung „Antworte nur basierend darauf“.
5. Quellen: Die Antwort zeigt, aus welchem Fragment jeder Satz stammt.

Wie macht das unser Labor?

Der Chat in der Ecke dieser Seite ist ein RAG zu ~20 Tsd. Texten über KI. Jede Frage durchläuft dieselbe Kette:

1. Datenmaskierung: PESEL, E-Mail und Telefon werden in [PESEL], [EMAIL], [TELEFON] umgewandelt, bevor die Frage weitergeht.
2. Vektor der Frage wird von einem lokalen EmbeddingGemma auf unserem Server für 0 PLN berechnet.
3. 12 nächstgelegene Fragmente aus der Datenbank (PostgreSQL + pgvector).
4. Themengateway: Wenn das beste Fragment den Schwellenwert von 0,764 nicht überschreitet, sagt der Chat direkt, dass dies nicht in der Datenbank vorhanden ist.
5. Die 6 besten Fragmente gehen an das Antwortmodell. Das kostet ca. 0,08 gr pro Antwort.
6. Ausgangsgateway überprüft die Antwort vor dem Senden: keine Links im Text, kein Code, kein Leak von Anweisungen.
7. Quellen als Fußnoten [1], [2] mit Artikeladressen.

Wann lohnt es sich, wann nicht?

• Lohnt sich: Chat auf der Firmenwebsite, Wissensdatenbank für Mitarbeiter, Antworten aus AGB, Preislisten und Dokumentationen, die sich oft ändern. Änderung des Dokuments = Neuberechnung eines Fragments, ohne das Modell zu trainieren.
• Lohnt sich nicht: wenn das Modell Stil oder Format lernen soll (hier ist Fine-Tuning besser) oder wenn alle Dokumente in eine einzige Anfrage an das Modell passen.

Häufige Fallen

• Chat antwortet auf alles. Ohne Schwellenwert erhält das Modell schwache Fragmente und erfindet den Rest aus dem Kopf.
• Kein Inhalt sieht aus wie ein schlechter Chat. Bei uns ging die Frage „Was sind Vektordatenbanken?“ nicht durch, weil es in der Datenbank nur 3 Titel über Vektoren gab. Die Karten dieses Wörterbuchs sind u. a. deshalb entstanden.
• Keine Quellen. Eine Antwort ohne Fußnoten kann nicht überprüft werden, daher vertraut ihr niemand.
• Personenbezogene Daten in Fragen. Menschen geben E-Mails und Telefonnummern ein. Maskieren Sie diese, bevor Sie irgendetwas speichern.