Halluzination
Eine Ausgabe, die plausibel formuliert und sachlich falsch ist. Sie folgt aus der Funktionsweise des Modells — es setzt fort, statt nachzuschlagen — und lässt sich eingrenzen, aber nicht abschalten.
Das Wort führt in die Irre, weil es nach Aussetzer klingt. Tatsächlich tut das Modell in diesem Moment genau das, wofür es gebaut ist: Es setzt eine Wortfolge so fort, wie sie wahrscheinlich weitergeht. Ob die entstandene Aussage zutrifft, ist eine Frage, die im Verfahren gar nicht vorkommt. Eine falsche Antwort ist deshalb kein Defekt, den ein Update behebt.
Eingrenzen lässt sie sich trotzdem. Wer dem Modell die passenden Belege mitgibt, statt es aus dem Gedächtnis antworten zu lassen, verschiebt die Wahrscheinlichkeit deutlich — das ist der Grund, warum abrufgestützte Verfahren der Standardweg für Unternehmenswissen sind. Was bleibt, ist ein Rest, und der wird kleiner, aber nie null.
Betrieblich ist deshalb nicht die Frage interessant, ob es passiert, sondern was ein Einzelfall kostet und wer ihn bemerkt. Eine falsche Zusammenfassung in einer internen Recherche ist ärgerlich; dieselbe Fehlerklasse in einer Auskunft an Kunden ist ein anderer Vorgang. Die Antwort darauf ist kein besseres Modell, sondern ein Prüfschritt an der richtigen Stelle.
Alle Begriffe stehen im KI-Glossar, dieser dort unter Halluzination.