Hallucinatie

Omdat een taalmodel het meest waarschijnlijke antwoord voorspelt in plaats van een feit op te zoeken, kan het soms iets opschrijven dat plausibel klinkt maar niet klopt: een verzonnen bronvermelding, een verkeerd bedrag, een regel die niet bestaat. Het vervelende is dat het net zo zelfverzekerd klinkt als bij een correct antwoord.

Hallucinaties zijn niet helemaal weg te poetsen, wel sterk in te dammen. Het model laten putten uit echte bronnen (RAG), antwoorden terugkoppelen naar die bron, en een mens laten meekijken op de plekken waar een fout duur is (zie human-in-the-loop).

Voor ons is dit precies waarom je AI niet zomaar los op klantcommunicatie of compliance zet. De vraag is niet of een model ooit een fout maakt, maar of je proces die fout opvangt voordat hij naar buiten gaat.