Key-value memory network, definícia a použitie | AI slovník

Odborná definícia

Key-value memory network je architektúra s explicitnými pamäťovými slotmi oddelenými na keys používané na adresovanie a values obsahujúce informáciu odovzdanú ďalšiemu výpočtu. Dotaz sa porovnáva s kľúčmi, attention váhy určia relevantné sloty a vážená kombinácia hodnôt aktualizuje reprezentáciu odpovede, často vo viacerých hops. Oddelené kódovanie adresy a obsahu umožňuje pracovať s dokumentmi, faktami alebo stavmi, ktoré majú inú formu vyhľadávania a inú formu použitia. Adresovanie môže byť diferencovateľné, takže výber pamäte sa učí spolu s odpoveďovou úlohou.

Zrozumiteľné vysvetlenie

V databáze filmov môže byť kľúčom formulácia, podľa ktorej sa fakt hľadá, napríklad názov filmu a typ vzťahu, kým hodnotou je meno režiséra alebo veta z dokumentu. Otázka sa porovná s kľúčmi, vyberie relevantné sloty a z ich hodnôt zostaví odpoveď. Pri ďalšom hope môže získaná informácia spresniť nový dotaz. Sieť sa učí, čo má považovať za adresu a čo za obsah, takže nie je odkázaná na presnú databázovú zhodu. Ak kľúče zle zachytia otázku, správna hodnota zostane v pamäti, ale mechanizmus ju nikdy neprečíta.

Časté otázky

Prečo sa kľúč a hodnota kódujú oddelene?

Text vhodný na nájdenie záznamu nemusí byť najlepší text na vytvorenie odpovede. Kľúč môže zvýrazniť entitu a vzťah, hodnota zachovať vetu, objekt alebo dynamický stav, ktorý sa má načítať.

Čo je memory hop?

Jeden cyklus adresovania pamäte a aktualizácie dotazu. Viac hops umožní skladať reťazec faktov, napríklad nájsť autora a potom jeho rodisko, no zvyšuje riziko akumulácie chýb.

Ako sa táto architektúra líši od KV cache?

Memory network je učený mechanizmus na obsahové adresovanie externých slotov. KV cache v transformeri uchováva interné attention tenzory minulých tokenov na zrýchlenie dekódovania. Názvy sú podobné, účely odlišné.

Dá sa hodnota pamäte priebežne meniť?

Áno. Dynamické varianty zachovávajú stabilné kľúče konceptov a aktualizujú hodnoty, napríklad odhad zvládnutia učiva používateľom. Zápis musí riešiť zabúdanie, konflikt a stabilitu.

Prečo memory networks ustúpili modernému RAG?

RAG často využíva škálovateľné vyhľadávače a hotové generatívne modely, čo uľahčuje aktualizáciu korpusu. Pamäťové siete zostávajú dôležité ako princíp diferencovateľného adresovania a v špecializovaných architektúrach.

Súvisiace pojmy

Zdroje a redakčná stopa

Miller a kol., Key-Value Memory Networks Zhang a kol., Dynamic Key-Value Memory Networks

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.