Retrieval-augmented generation

Retrieval-augmented generation je architektúra, ktorá pred generovaním vyhľadá relevantné externé informácie a vloží ich do kontextu generatívneho modelu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi určuje, ako sú časti systému usporiadané, ako medzi nimi tečú dáta a aké obmedzenia riešenie má.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je zbytočná zložitosť, neprimeraná spotreba zdrojov, slabá interpretovateľnosť alebo nevhodné správanie pri zmene dát. Voľba architektúry sa musí overiť experimentom a prevádzkovým testom.

Retrieval-augmented generation sa od pojmov Quaternion neural network, Recurrent neural network, Query-key-value attention odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.