Neuronová síť s rozšírenou pamětí | AI slovník

Odborná definice

Memory-augmented neural network je neuronová architektura, která doplňa běžný stav sítě o explicitní pameťovou strukturu a naučené operace čítání a zápisu. Riadiaca síť vytváří adresovace váhy podle obsahu, polohy nebo podobnosti a pracuje s pamětí diferencovatelným způsobem. Cílem je oddělit výpočet od dočasného uložení informací, podporit déle závislosti, algoritmické chování nebo rychle učení z několika příkladů. Kapacita a stabilita závisí na způsobu adresování a tréninkového cíle.

Srozumitelné vysvětlení

Běžná neuronová síť ukládá informaci zejména do svojich váh a priebežných aktivací. Síť s rozšírenou pamětí dostane navíc pracovný zošit, do kterého může během řešení zapisovat a později z něho číst. Může si uložit identifikátor, medzivýsledok nebo vzor z aktuální epizódy bez trvalej změny všech váh. Výhodou je flexibilnejšia práca s dočasným kontextem. Nevýhodou je, že model se musí naučit nejen obsah řešení, ale i spolehlivou strategii, kam zapisovat a co načíst.

Časté otázky

Je externá paměť databáze?

Ne nevyhnutelně. Často jde o matici vektorů přímo v modeli, ku které se pristupuje mekkými diferencovatelnými váhami. Databáze může být samostatný aplikačný komponenta.

Jak se paměť adresuje?

Podle podobnosti obsahu, naučeného klúča, polohy nebo kombinace mechanizmů. Měkké adresování umožňuje číst z více buniek a trénovat gradientem.

V čem se liší od LSTM?

LSTM má vnitřní stav s pevnou strukturou riadenou bránami. Memory-augmented síť má obvykle větší explicitní paměť a samostatné hlavy čítání a zápisu.

Ve kterých úlohách se využívá pamětí rozšírená síť?

Na algoritmické úlohy, few-shot learning, otázky nad dlhším kontextem, navigaci a experimenty, kde je třeba oddělit dlhodobo naučené pravidla od dočasných faktů.

Co je typické selhání?

Paměť se může prepisovat, adresování se rozptýli na nesprávně bunky nebo model obíde paměť a naučí se skratku, která funguje pouze na tréninkových dlžkach.

Související pojmy

Zdroje a redakční stopa

Graves et al., Neural Turing Machines

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.