In dit artikel
Iemand vraagt AI om een paar marktcijfers voor een presentatie. Ze zien er goed uit, er staat een bron bij, en ze gaan mee naar de klant. Later blijkt dat de bron niet bestaat. Dat is een hallucinatie: output die overtuigend klinkt, maar niet klopt.
Het is geen storing die met een update verdwijnt. Het volgt uit hoe taalmodellen werken. Je kunt het niet uitzetten. Je kunt het wel zo inrichten dat een hallucinatie nooit ongecontroleerd bij een klant terechtkomt.
Waarom verzint AI dingen?
Een taalmodel berekent woord voor woord wat waarschijnlijk volgt. Er wordt niets opgezocht en niets gecontroleerd, tenzij het model een bron of zoekfunctie mag gebruiken.
Vraag je naar een wetsartikel dat het model niet kent, dan is "artikel 14, lid 3" een prima voortzetting. Het ziet eruit als een wetsartikel en klinkt als een wetsartikel. Dat het niet bestaat, weegt voor het model niet mee.
Daaruit volgt het patroon dat de meeste schade doet: overtuigingskracht zegt niets over juistheid. Een vaag antwoord is zelden verzonnen. Een precies, formeel antwoord met bronvermelding soms wel, juist omdat het model dat formaat perfect kan nadoen.
Waar gaat het in bedrijven mis?
Cijfers in klantmateriaal
Marktcijfers voor een presentatie of offerte die niemand controleert. Dit komt het vaakst voor en is het pijnlijkst, omdat het naar buiten gaat.
Juridische en fiscale teksten
Een vlot geschreven clausule met een verwijzing naar wetgeving die niet klopt. Zonder controle door iemand met verstand van zaken gaat dat de deur uit.
Productspecificaties
Een model dat jouw producten niet kent, vult plausibele specificaties in. In een offerte is dat een toezegging. Zie offertes maken met AI.
Agents die meerdere stappen zetten
Dit geval wordt onderschat. Een fout in stap twee wordt de aanname in stap drie en de basis voor stap zes. In een keten valt een fout niet op, hij stapelt zich op. Zie AI-agent use cases voor het MKB.
Zes maatregelen die werken
1. Geef bronnen mee in plaats van te vragen
Verreweg de belangrijkste. Een model dat het contract, de handleiding of de prijslijst voor zich heeft, hoeft niets te verzinnen. "Wat is de opzegtermijn bij dit soort contracten?" is gokken. "Hier is het contract, wat staat er over de opzegtermijn?" is lezen.
2. Vraag om de letterlijke passage
"Citeer de zin waarop je dit baseert." Staat die zin niet in het document, dan zie je dat meteen.
3. Maak controle een regel
Leg in je AI-beleid vast welke soorten informatie altijd worden gecontroleerd voordat ze naar buiten gaan: cijfers, datums, wetsartikelen, citaten, namen en toezeggingen. Een regel wordt nageleefd, een goede gewoonte niet. Zie AI-beleid opstellen.
4. Kijk waar de output terechtkomt
Een fout in een interne notitie is een ongemak. Dezelfde fout in een offerte, jaarverslag of juridisch stuk is iets anders. Stem de controle af op de bestemming.
5. Knip taken op
Eén verzoek dat tegelijk data ophaalt, analyseert, conclusies trekt en een tekst schrijft, is niet te controleren. Vier losse stappen met een tussentijdse blik wel.
6. Leer mensen hoe het werkt
Wie begrijpt dat een model tekst voorspelt in plaats van feiten opzoekt, gaat vanzelf controleren. Dat is het deel van AI-geletterdheid dat het meeste gedrag verandert. Zie AI-geletterdheid verplicht.
Wat niet werkt
- Vragen of het klopt. Het model maakt opnieuw waarschijnlijke tekst en bevestigt meestal zijn eigen verzinsel. Het voelt als controle, maar is het niet.
- "Verzin niets" in de instructie zetten. Het helpt een beetje en geeft vooral een vals gevoel van zekerheid. Het model kan niet vaststellen dat het iets verzint.
- Een tweede model laten controleren. Twee modellen zonder bron kunnen allebei plausibel misgaan en elkaar dan bevestigen.
- Wachten op betere modellen. Ze zijn beter geworden in het aangeven van twijfel en in het gebruiken van bronnen. Het mechanisme blijft hetzelfde.
Hoeveel controle is genoeg?
- Interne brainstorm of concepttekst: laag risico. Gezond verstand volstaat.
- Samenvatting van een meegeleverd document: laag risico. Controleer de kernpunten steekproefsgewijs.
- Klantmail of offertetekst: middel. Volledig lezen voor verzending, bedragen en toezeggingen apart nalopen.
- Cijfers en marktdata in extern materiaal: hoog. Elke claim herleiden tot een bron.
- Juridische, fiscale of medische inhoud: hoog. Controle door een vakspecialist, zonder uitzonderingen.
- Agent die zelfstandig handelt: hoog. Een mens bij elke actie die je niet kunt terugdraaien.
De regel erachter: stem de controle af op de gevolgen van een fout, niet op hoe betrouwbaar het antwoord voelt.
Hoe we het zelf doen
Als we een agent bouwen, krijgt die de bronnen mee waarmee hij moet werken. Een antwoord zonder bronfragment gaat niet door. Bedragen komen uit het systeem, niet uit het model. En bij een handeling die je niet kunt terugdraaien, staat er een mens tussen. Hoe dat eruitziet in je eigen systemen, staat in AI-agent koppelen aan je bestaande systemen.
Hallucinaties zijn geen reden om AI niet te gebruiken. Ze zijn een reden om het anders in te richten. Wil je weten waar in jouw processen AI veilig waarde toevoegt? Dat brengen we in kaart in de AI Opportunity Audit.
Veelgestelde vragen
Waarom verzint AI dingen?
Een taalmodel voorspelt welke tekst waarschijnlijk volgt, niet welke tekst waar is. Kent het een cijfer of wetsartikel niet, dan is een plausibel antwoord de beste voortzetting. Het model kan weten en gokken niet uit elkaar houden, en meldt dus ook niet dat het gokt.
Kun je hallucinaties helemaal uitsluiten?
Nee, alleen beheersen. Het risico wordt veel kleiner als je bronnen meegeeft in plaats van het model uit zijn geheugen te laten putten, en als controle van feitelijke claims verplicht is voordat iets naar buiten gaat.
Welke output is het gevoeligst?
Alles wat specifiek en controleerbaar is: cijfers, datums, wetsartikelen, uitspraken, citaten, bronvermeldingen, namen en productspecificaties. Juist daar klinkt een verzonnen antwoord het geloofwaardigst.
Helpt het om te vragen of het antwoord klopt?
Nauwelijks. Een model dat een bron heeft verzonnen, bevestigt meestal dat die bestaat. Vraag liever om de letterlijke passage uit een meegeleverd document. Dan zie je direct of die er staat.
Worden nieuwere modellen hier beter in?
Ze geven beter aan wanneer ze twijfelen en gebruiken bronnen beter. Het mechanisme blijft hetzelfde: het is een tekstvoorspeller. Betere modellen verlagen hoe vaak het gebeurt, maar controle blijft nodig.
