Wat is RAG (retrieval-augmented generation)?
Door Yassine Seghrouchni, oprichterBijgewerkt
Kort gezegd
RAG (retrieval-augmented generation) is een techniek waarbij een AI-assistent eerst de relevante passages opzoekt in je eigen documenten of systemen, en pas daarna antwoord geeft op basis van wat hij vond. Het taalmodel hoeft dan niet uit zijn geheugen te putten. Daardoor zijn antwoorden actueler, kloppen ze vaker en kun je bij elk antwoord de bron laten zien.
Ook wel: retrieval-augmented generation, retrieval augmented generation
Hoe het werkt
De naam beschrijft de drie stappen:
- Ophalen (retrieval): de vraag gaat eerst naar een zoekfunctie over je documenten, zoals handboeken, contracten, cao’s of de kennisbank van je klantenservice. Die vindt de passages die erover gaan.
- Aanvullen (augmented): de gevonden passages gaan samen met de vraag naar het taalmodel, met de instructie om alleen op basis daarvan te antwoorden.
- Genereren (generation): het model schrijft het antwoord en verwijst naar de passage waarop het is gebaseerd.
Om goed te kunnen zoeken worden documenten vooraf in stukken geknipt en zo opgeslagen dat de zoekfunctie ook passages vindt die over hetzelfde gaan maar andere woorden gebruiken. Een vraag over vakantietoeslag vindt dan ook de passage over vakantiegeld.
RAG of een eigen model trainen?
Wie een AI-assistent op eigen kennis wil, denkt vaak dat het model daarvoor getraind moet worden. Voor vragen over feiten en regels is RAG meestal de betere keuze:
- Actueel: verandert een document, dan vervang je het in de zoekindex. Opnieuw trainen is niet nodig.
- Controleerbaar: je ziet op welke passage een antwoord rust, en kunt dat nalopen.
- Rechten: de assistent kan zoeken binnen wat de vrager zelf mag zien.
Een model bijtrainen, fine-tuning, is vooral nuttig om een stijl of vast gedrag aan te leren, zoals een bepaalde schrijfwijze of een vaste opbouw van antwoorden. Voor kennis die verandert, is het een omweg.
Waar het in de praktijk toe doet
De kwaliteit van een RAG-assistent hangt meer af van de bronnen en het zoeken dan van het model. Staan er verouderde of tegenstrijdige documenten in de index, dan krijg je een overtuigend fout antwoord, met bronvermelding. Ruim de bronnen dus eerst op en wijs iemand aan die ze bijhoudt.
Een veelgemaakt misverstand: dat RAG hallucinaties uitsluit. Het verkleint de kans flink, maar een model kan een passage verkeerd lezen of twee bronnen verkeerd combineren. Test daarom ook met vragen waarop het antwoord niet in de documenten staat. Een goede assistent zegt dan dat hij het niet weet, in plaats van te gokken.
Zo bouwden we het voor een organisatie in de uitzendbranche: een assistent die een formulier voorinvult uit de cao en de bedrijfsregelingen. Hij geeft alleen antwoord als hij het in de aangeleverde documenten vindt, en toont dan het letterlijke fragment met bestandsnaam en pagina. Vindt hij niets, dan blijft het veld leeg.
Veelgestelde vragen
Wat is het verschil tussen RAG en fine-tuning?
Bij RAG zoekt de assistent bij elke vraag de relevante passages op in je documenten en antwoordt hij op basis daarvan. Bij fine-tuning train je het model zelf bij, zodat het ander gedrag of een andere stijl aanleert. Voor kennis die verandert, zoals regelingen, prijzen of procedures, is RAG meestal geschikter: je werkt het document bij in plaats van het model.
Voorkomt RAG hallucinaties?
Het verkleint de kans flink, omdat het model antwoordt op basis van je eigen bronnen in plaats van uit zijn geheugen. Uitsluiten doet het niet. Laat de assistent bij elk antwoord de bron tonen en geen antwoord geven als hij niets vindt. Dan kan een medewerker snel controleren of het klopt.
