Odborná definícia
Význam a odborné vymedzenie pojmu
Neural Turing machine je diferencovateľná architektúra, ktorá spája neurónový riadiaci modul s externou maticovou pamäťou. Čítacie a zapisovacie hlavy vytvárajú mäkké váhy nad pamäťovými pozíciami pomocou obsahového a pozičného adresovania. Vďaka spojitému prístupu možno celý systém trénovať spätným šírením gradientu na úlohách, ktoré vyžadujú uloženie, presun a opätovné použitie informácie. Architektúra nie je univerzálny programovací počítač v praktickom zmysle a pri dlhých postupoch môže byť tréning nestabilný.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Bežná neurónová sieť nesie pracovnú informáciu najmä vo svojich aktiváciách. Neural Turing machine dostane navyše zápisník. Riadiaca sieť rozhoduje, kam sa má pozrieť, čo z bunky prečítať a akú časť prepísať. Na úlohe kopírovania sa môže naučiť zapisovať prichádzajúcu sekvenciu a po pokyne ju postupne prečítať. Keď sú však adresy príliš rozmazané, viac záznamov sa zmieša a pamäť prestane fungovať ako spoľahlivý zošit.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo sú čítacie hlavy mäkké?
Používajú spojité váhy, aby bol prístup k pamäti diferencovateľný a dal sa učiť gradientom.
Čo znamená obsahové adresovanie?
Hlavička hľadá pamäťové riadky podobné zadanému kľúču, nie iba bunku s pevným číslom.
Ako sa NTM líši od LSTM?
LSTM má pamäť zabudovanú do opakovaného stavu. NTM používa väčšiu externú maticu s explicitnými operáciami čítania a zápisu.
Aké úlohy demonštrovali pôvodné experimenty?
Kopírovanie, opakovanie sekvencie, asociatívne vybavenie a jednoduché algoritmické transformácie.
Prečo sa architektúra nepoužíva všade?
Mäkké adresovanie je výpočtovo náročné, optimalizácia citlivá a moderné attention modely často riešia rovnaký problém jednoduchšie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Graves, Wayne a Danihelka, Neural Turing Machines, 2014
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.