Halucynacje AI

Skąd się bierze?

• Model uczy się przewidywać tekst, a nie sprawdzać fakty. Gdy nie zna odpowiedzi, wygeneruje coś, co tylko wygląda jak odpowiedź.
• OpenAI w pracy Why language models hallucinate (2025) pokazało, że testy modeli nagradzają zgadywanie bardziej niż „nie wiem”. Model uczy się więc strzelać.
• Najczęściej zmyśla w szczegółach: datach, liczbach, nazwiskach, tytułach prac i adresach stron.

Jak to robi nasz lab?

• Liczby sprawdza kod, nie model. W raportach model pisze tekst, ale każdą liczbę program porównuje z danymi. Liczba spoza danych oznacza, że tekst nie przechodzi.
• Czat odpowiada ze źródłem albo mówi „nie wiem”. Każde zdanie ma przypis do artykułu. Gdy w bazie nic nie ma, czat mówi to wprost. Gdy odpowiada z wiedzy ogólnej modelu, dopisuje to szarą linią pod odpowiedzią.
• Własna lekcja: asystent AI, z którym budujemy lab, raz „znalazł” lukę bezpieczeństwa, której nie było. Opis trafił do dokumentacji i kolejne sesje powtarzały go jako fakt, aż trzy niezależne sprawdzenia go obaliły. Zmyślenie wpisane do dokumentu staje się „wiedzą”.
• Testy czatu (promptfoo): 52/52 przypadków z twardymi regułami, m.in. „bez źródła = błąd”.

Co pokazuje nasza baza?

W bazie labu jest 90 tekstów o halucynacjach: od wyjaśnienia OpenAI, przez publiczne rankingi halucynacji modeli, po prace o wykrywaniu zmyśleń z wnętrza modelu, zanim padnie odpowiedź.

Jak ograniczyć halucynacje?

• Dawaj modelowi źródła (RAG) i każ je cytować.
• Pozwól mu powiedzieć „nie wiem”, a nawet go do tego zachęcaj.
• Sprawdzaj kodem to, co da się sprawdzić: liczby, daty, adresy.
• Przy ważnych decyzjach człowiek zatwierdza. U nas każda publikacja czeka na kliknięcie.