RAG
RAG (Retrieval-Augmented Generation) je postup, pri ktorom model pred odpoveďou vyhľadá relevantné dokumenty vo firemnej databáze a odpoveď postaví na nich, namiesto toho, aby vychádzal len z tréningu.
Ako to funguje
Dokumenty firmy — manuály, cenníky, interné postupy, história ticketov — sa rozdelia na menšie časti a uložia sa spolu s ich číselnou reprezentáciou (embeddingom) vo vektorovej databáze. Keď príde otázka, systém najprv vyhľadá časti, ktoré sú jej obsahovo najbližšie, a až tie spolu s otázkou pošle jazykovému modelu. Model tak odpovedá na základe konkrétneho textu, ktorý dostal, nie iba z toho, čo sa naučil pri tréningu — a dá sa dohľadať, z ktorého dokumentu odpoveď pochádza.
Príklad z firemnej praxe
Zákaznícky servis, ktorý má stovky stránok manuálov a interných postupov, nemôže čakať, že si ich model zapamätá naspamäť alebo že sa vždy zmestia do jednej otázky. RAG namiesto toho pri každom dopyte vytiahne len tie časti manuálu, ktoré sa danej otázky týkajú, a model z nich poskladá odpoveď. Keď sa manuál zmení, stačí aktualizovať databázu dokumentov — model sa netrénuje nanovo.
Kedy áno a kedy nie
RAG sa oplatí, keď má firma vlastné dokumenty alebo dáta, ktoré sa menia a model ich nepozná — interné postupy, aktuálny cenník, história zákazníka. Nie je potrebný, keď stačí všeobecná znalosť modelu alebo keď je vstupných dokumentov tak málo, že sa zmestia rovno do dopytu bez vyhľadávania. RAG znižuje riziko vymyslenej odpovede, ale negarantuje ju — kvalita závisí od toho, ako presne vyhľadávanie nájde správnu časť dokumentu.
Kvalita RAG stojí a padá na tom, ako sú dokumenty rozdelené a udržiavané. Zastaraný alebo zle rozdelený dokument vo firemnej databáze vie modelu podsunúť nesprávny podklad rovnako spoľahlivo ako ten správny — udržiavanie zdrojových dokumentov preto nie je jednorazová úloha, ale súčasť prevádzky.