Een term die we de komende tijd veel gaan horen in de wereld van AI is "retrieval-augmented generation" oftewel RAG. De AI versie van het open boek examen.

Taalmodellen komen soms met antwoorden die totaal niet relevant zijn. Dit komt doordat deze modellen geen begrip hebben van de betekenis van woorden, maar alleen statistische patronen herkennen. Om dit probleem op te lossen het AI-framework RAG ontwikkeld.

Open boek examen, AI-version

Rag kan je wel de AI versie noemen van het open boek examen: het model beantwoordt vragen niet alleen uit het ‘hoofd’ maar mag ook dingen opzoeken.

RAG voorziet taalmodellen dus van externe kennisbronnen, zodat ze toegang hebben tot de meest nauwkeurige en actuele informatie. Dit heeft een aantal belangrijke voordelen.

1. Het taalmodel kan hierdoor betrouwbare feiten gebruiken bij het genereren van antwoorden.
2. Gebruikers kunnen de bronnen van het model raadplegen om de juistheid van de claims te verifiëren.
3. Daarnaast vermindert RAG de noodzaak om het taalmodel continu te trainen met nieuwe data en parameters bij te werken. Dit verlaagt de kosten en rekenkracht die nodig zijn om AI-aangedreven chatbots te laten draaien.

Toepassingen

Een goede toepassing van RAG is bijvoorbeeld een klantenservice-chatbot, waarbij het model toegang heeft tot verifieerbare en betrouwbare informatie. Het stelt klanten in staat om persoonlijke antwoorden te ontvangen in plaats van te blijven hangen in algemeenheden. RAG is effectief bij het beantwoorden van specifieke vragen in een steeds veranderende context. Andere voorbeelden zijn reisinformatie of actuele interne financiële cijfers.

Werking

RAG werkt in twee stappen: ophalen en genereren.

In de eerste stap worden relevante fragmenten van informatie gezocht en opgehaald uit externe bronnen. Deze informatie wordt vervolgens gecombineerd met de initiële vraag en doorgegeven aan het taalmodel.

In de tweede stap, de generatiefase, gebruikt het model zowel de augmented prompt als zijn interne training om een gepast en persoonlijk antwoord te genereren.

Conclusie

Mijns inziens kan RAG, of een vergelijkbare technologie wel eens heel groot worden. Wat dat is toch wat we willen? Een AI waar je in gewone taal dingen aan kan vragen, maar dan wel eentje die toegang heeft tot actuele en feitelijke informatie.