Baza wektorowa

Jak to działa?

1. Model zamienia każdy tekst na wektor, czyli listę kilkuset albo kilku tysięcy liczb. Teksty o podobnym znaczeniu dostają podobne liczby.
2. Wektory trafiają do bazy razem z tekstem i adresem źródła.
3. Pytanie użytkownika zamienia się na wektor tym samym modelem.
4. Baza zwraca teksty, których wektory leżą najbliżej. Zwykle mierzy się to podobieństwem cosinusowym: 1 to identyczne znaczenie, 0 to brak związku.
5. Przy milionach wektorów baza nie porównuje wszystkich ze wszystkimi. Używa indeksu (np. HNSW), który szybko znajduje „prawie najbliższe”.

Jak to robi nasz lab?

• Bazy nie kupujemy. To zwykły PostgreSQL z rozszerzeniem pgvector na naszym serwerze, za 0 zł miesięcznie.
• Wektory liczą dwa modele: Gemini (1536 liczb na tekst, z dziennym limitem darmowych wywołań) i lokalny EmbeddingGemma (768 liczb, liczony na naszym sprzęcie) dla czatu.
• Czat odpowiada tylko wtedy, gdy najbliższy tekst przekroczy próg 0,764. Próg wyznaczyliśmy pomiarem na 30 pytaniach na temat i 6 obcych: wszystkie na temat były nad progiem, wszystkie obce pod nim, a margines między nimi wyniósł 0,019.
• Najciekawszy wynik: pytanie „czym są bazy wektorowe?” dostało podobieństwo 0,733–0,756, czyli tyle samo co „kto wygrał mecz?” (0,745). Próg działał dobrze. Po prostu wśród ~20 tys. tekstów w bazie tylko 3 tytuły mówiły o wektorach. Baza wektorowa nie znajdzie odpowiedzi, której w niej nie ma. Ta strona powstała między innymi po to, żeby czat miał skąd ją wziąć.

Kiedy warto, kiedy nie?

• Warto: czat na dokumentach firmy, wyszukiwarka po znaczeniu, wykrywanie duplikatów, rekomendacje „podobne treści”.
• Nie warto: gdy szukasz dokładnych wartości (numer faktury, kod produktu), tam wygrywa zwykłe wyszukiwanie. Także przy małej liczbie dokumentów, które mieszczą się w całości w oknie kontekstu modelu.

Najczęstsze pułapki

• Zmiana modelu = przeliczenie wszystkiego. Wektory z dwóch różnych modeli są nieporównywalne.
• Próg z głowy. Bez pomiaru na prawdziwych pytaniach czat albo odmawia wszystkiego, albo odpowiada na wszystko.
• Za długie fragmenty. Jeden wektor na długi artykuł rozmywa znaczenie. Tniemy na kawałki do ~1 200 znaków.
• Brak treści wygląda jak błąd progu. Najpierw sprawdź, co jest w bazie, potem stroisz próg.