Odborná definice
Odborná definice
Neural Turing machine je diferencovatelná architektura, která spojuje neuronový riadiaci modul s externí maticovou pamětí. Čítace a zapisovace hlavy vytvářejí měkké váhy nad pameťovými pozicemi pomocí obsahového a pozičného adresování. Díky spojitému přístupu lze celý systém trénovat spetným šírením gradientu na úlohách, které vyžadují uložení, přesun a opetovné použití informace. Architektura není univerzální programovací počítač v praktickom smyslu a při dlouhých postupoch může být trénink nestabilný.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Běžná neuronová síť nese pracovnou informaci zejména ve svojich aktivacích. Neural Turing machine dostane navíc zápisník. Riadiaca síť rozhoduje, kam se má podívat, co z bunky prečítat a jakou část prepísat. Na úloze kopírování se může naučit zapisovat prichádzajúcu sekvenci a po pokyne ji postupně prečítat. Když jsou však adresy příliš rozmazané, více záznamů se zmieša a paměť přestane fungovat jako spolehlivý zošit.
Časté otázky
Časté otázky
Proč jsou čítace hlavy měkké?
Používají spojité váhy, aby byl přístup k pameti diferencovatelný a dal se učit gradientem.
Co znamená obsahové adresování?
Hlavička hledá pameťové řádky podobné zadanému klúču, ne pouze bunku s pevným číslem.
Jak se NTM liší od LSTM?
LSTM má paměť zabudovanou do opakovaného stavu. NTM používá větší externí matici s explicitnými operacemi čítání a zápisu.
Jaké úlohy demonštrovali původní experimenty?
Kopírování, opakování sekvence, asociatívne vybavení a jednoduché algoritmické transformace.
Proč se architektura nepoužívá všade?
Měkké adresování je výpočetně náročné, optimalizace citlivá a moderní attention modely často řeší stejný problém jednodušší.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Graves, Wayne a Danihelka, Neural Turing Machines, 2014
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.