Halluzination

Weil ein Sprachmodell die wahrscheinlichste Antwort vorhersagt, statt eine Tatsache nachzuschlagen, schreibt es manchmal etwas, das plausibel klingt, aber nicht stimmt: eine erfundene Quellenangabe, einen falschen Betrag, eine Regel, die es nicht gibt. Das Tückische daran: Es klingt genauso selbstsicher wie bei einer richtigen Antwort.

Ganz verhindern lassen sich Halluzinationen nicht, aber stark eindämmen. Lassen Sie das Modell aus echten Quellen schöpfen (RAG), führen Sie Antworten auf diese Quelle zurück und lassen Sie dort einen Menschen mitprüfen, wo ein Fehler teuer wird (siehe Human-in-the-Loop).

Genau deshalb lassen wir KI nicht einfach unbeaufsichtigt auf Kundenkommunikation oder Compliance los. Die Frage ist nicht, ob ein Modell je einen Fehler macht, sondern ob Ihr Prozess diesen Fehler abfängt, bevor er nach außen geht.