KI-Halluzinationen

Woher kommt sie?

• Das Modell lernt, Text vorherzusagen, statt Fakten zu prüfen. Wenn es die Antwort nicht kennt, generiert es etwas, das nur wie eine Antwort aussieht.
• OpenAI zeigte in der Arbeit Why language models hallucinate (2025), dass Modelltests das Rätseln mehr belohnen als „ich weiß es nicht“. Das Modell lernt somit zu raten.
• Am häufigsten erfindet es Details: Daten, Zahlen, Nachnamen, Arbeitstitel und Webadressen.

Wie macht das unser Labor?

• Zahlen werden durch Code geprüft, nicht durch das Modell. In Berichten schreibt das Modell den Text, aber das Programm gleicht jede Zahl mit den Daten ab. Eine Zahl außerhalb der Daten bedeutet, dass der Text nicht durchgeht.
• Der Chat antwortet mit Quelle oder sagt „ich weiß es nicht“. Jeder Satz hat einen Verweis auf einen Artikel. Wenn die Datenbank nichts hergibt, sagt der Chat das direkt. Wenn er aus dem Allgemeinwissen des Modells antwortet, fügt er dies als graue Linie unter der Antwort hinzu.
• Eigene Lektion: Der KI-Assistent, mit dem wir das Labor aufbauen, hat einmal eine Sicherheitslücke „gefunden“, die es gar nicht gab. Die Beschreibung landete in der Dokumentation und nachfolgende Sitzungen gaben sie als Fakt wieder, bis drei unabhängige Überprüfungen sie widerlegten. Eine Erfindung, die in ein Dokument eingetragen wird, wird zu „Wissen“.
• Chat-Tests (promptfoo): 52/52 Fälle mit harten Regeln, u. a. „keine Quelle = Fehler“.

Was zeigt unsere Datenbank?

In der Labor-Datenbank befinden sich 90 Texte über Halluzinationen: von der Erklärung von OpenAI über öffentliche Halluzinations-Ranglisten von Modellen bis hin zu Arbeiten über die Erkennung von Erfindungen aus dem Modellinneren, bevor die Antwort fällt.

Wie kann man Halluzinationen begrenzen?

• Geben Sie dem Modell Quellen (RAG) und verlangen Sie deren Zitation.
• Erlauben Sie ihm zu sagen „ich weiß es nicht“ und ermutigen Sie es sogar dazu.
• Überprüfen Sie mit Code, was sich prüfen lässt: Zahlen, Daten, Adressen.
• Bei wichtigen Entscheidungen genehmigt der Mensch. Bei uns wartet jede Veröffentlichung auf einen Klick.