Memory-augmented neural network, definícia a použitie | AI slovník

Odborná definícia

Memory-augmented neural network je neurónová architektúra, ktorá dopĺňa bežný stav siete o explicitnú pamäťovú štruktúru a naučené operácie čítania a zápisu. Riadiaca sieť vytvára adresovacie váhy podľa obsahu, polohy alebo podobnosti a pracuje s pamäťou diferencovateľným spôsobom. Cieľom je oddeliť výpočet od dočasného uloženia informácií, podporiť dlhšie závislosti, algoritmické správanie alebo rýchle učenie z niekoľkých príkladov. Kapacita a stabilita závisia od spôsobu adresovania a tréningového cieľa.

Zrozumiteľné vysvetlenie

Bežná neurónová sieť ukladá informáciu najmä do svojich váh a priebežných aktivácií. Sieť s rozšírenou pamäťou dostane navyše pracovný zošit, do ktorého môže počas riešenia zapisovať a neskôr z neho čítať. Môže si uložiť identifikátor, medzivýsledok alebo vzor z aktuálnej epizódy bez trvalej zmeny všetkých váh. Výhodou je flexibilnejšia práca s dočasným kontextom. Nevýhodou je, že model sa musí naučiť nielen obsah riešenia, ale aj spoľahlivú stratégiu, kam zapisovať a čo načítať.

Časté otázky

Je externá pamäť databáza?

Nie nevyhnutne. Často ide o maticu vektorov priamo v modeli, ku ktorej sa pristupuje mäkkými diferencovateľnými váhami. Databáza môže byť samostatný aplikačný komponent.

Ako sa pamäť adresuje?

Podľa podobnosti obsahu, naučeného kľúča, polohy alebo kombinácie mechanizmov. Mäkké adresovanie umožňuje čítať z viacerých buniek a trénovať gradientom.

V čom sa líši od LSTM?

LSTM má vnútorný stav s pevnou štruktúrou riadenou bránami. Memory-augmented sieť má zvyčajne väčšiu explicitnú pamäť a samostatné hlavy čítania a zápisu.

V ktorých úlohách sa využíva pamäťou rozšírená sieť?

Na algoritmické úlohy, few-shot learning, otázky nad dlhším kontextom, navigáciu a experimenty, kde treba oddeliť dlhodobo naučené pravidlá od dočasných faktov.

Čo je typické zlyhanie?

Pamäť sa môže prepisovať, adresovanie sa rozptýli na nesprávne bunky alebo model obíde pamäť a naučí sa skratku, ktorá funguje iba na tréningových dĺžkach.

Súvisiace pojmy

Zdroje a redakčná stopa

Graves et al., Neural Turing Machines

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.