Neural Turing machine, definícia a použitie | AI slovník

Odborná definícia

Neural Turing machine je diferencovateľná architektúra, ktorá spája neurónový riadiaci modul s externou maticovou pamäťou. Čítacie a zapisovacie hlavy vytvárajú mäkké váhy nad pamäťovými pozíciami pomocou obsahového a pozičného adresovania. Vďaka spojitému prístupu možno celý systém trénovať spätným šírením gradientu na úlohách, ktoré vyžadujú uloženie, presun a opätovné použitie informácie. Architektúra nie je univerzálny programovací počítač v praktickom zmysle a pri dlhých postupoch môže byť tréning nestabilný.

Zrozumiteľné vysvetlenie

Bežná neurónová sieť nesie pracovnú informáciu najmä vo svojich aktiváciách. Neural Turing machine dostane navyše zápisník. Riadiaca sieť rozhoduje, kam sa má pozrieť, čo z bunky prečítať a akú časť prepísať. Na úlohe kopírovania sa môže naučiť zapisovať prichádzajúcu sekvenciu a po pokyne ju postupne prečítať. Keď sú však adresy príliš rozmazané, viac záznamov sa zmieša a pamäť prestane fungovať ako spoľahlivý zošit.

Časté otázky

Prečo sú čítacie hlavy mäkké?

Používajú spojité váhy, aby bol prístup k pamäti diferencovateľný a dal sa učiť gradientom.

Čo znamená obsahové adresovanie?

Hlavička hľadá pamäťové riadky podobné zadanému kľúču, nie iba bunku s pevným číslom.

Ako sa NTM líši od LSTM?

LSTM má pamäť zabudovanú do opakovaného stavu. NTM používa väčšiu externú maticu s explicitnými operáciami čítania a zápisu.

Aké úlohy demonštrovali pôvodné experimenty?

Kopírovanie, opakovanie sekvencie, asociatívne vybavenie a jednoduché algoritmické transformácie.

Prečo sa architektúra nepoužíva všade?

Mäkké adresovanie je výpočtovo náročné, optimalizácia citlivá a moderné attention modely často riešia rovnaký problém jednoduchšie.

Súvisiace pojmy

Zdroje a redakčná stopa

Graves, Wayne a Danihelka, Neural Turing Machines, 2014

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.