Neuronové tangentové jádro | AI slovník

Odborná definice

Neural tangent kernel, zkráceně NTK, je jádro odvozené z gradientů výstupu neuronové sítě podle její parametrů. Popisuje podobnost dvou vstupů z pohledu toho, jako by malé změny váh ovplyvnili jejich predikce. Při určitých nekonečne širokých sítích zůstává NTK během gradientného tréninku přibližně konštantné a dynamika učení se dá analyzovat jako jádrová regrese. Tento výsledek je teoretický limit, ne tvrzení, že každá konečná hluboká síť se správa lineární nebo že reprezentace během tréninku nemění.

Srozumitelné vysvětlení

Představte si extrémně širokou síť, ve které se každý jednotlivý parameter pohne pouze nepatrne. Místo sledování miliárd malých pohybů lze zostavit matici, která hovoří, které vstupy reagují na úpravy váh podobným způsobem. Tato matice je NTK. Umožní skúmat rychlost učení a generalizaci bez simulování každého detailu sítě. Při běžném modeli však šířka, inicializace a velikost kroků rozhodují, zda je takáto aproximace užitečná.

Časté otázky

Je NTK obyčajná jádrová funkce zadaná člověkem?

Ne. Vzniká z konkrétní architektury a její gradientů, takže nese informaci o parametrizaci neuronové sítě.

Platí konštantné NTK i pro malé sítě?

Ne obecně. Konečné sítě mohou měnit reprezentace a jejich tangentové jádro se během tréninku může výrazně posúvat.

Na co se NTK používá v praxi?

Zejména na teoretickou analýzu konvergence, spektrálnych vlastností a vlivu architektury. Při velkých datech je explicitní jádrová matice drahá.

Jako NTK souvisí s gaussovským procesům?

Nekonečne široká náhodně inicializovaná síť může indukovat gaussovský proces, zatímco NTK popisuje její tréninkovou dynamiku při gradientnom zostupe.

Může dobrý NTK výsledek zaručit kvalitu neuronové sítě?

Ne. Limitná analýza nemusí zachytit učení reprezentací, regularizaci, optimalizačné javy ani provozní omezení konkrétního modelu.

Související pojmy

Zdroje a redakční stopa

Jacot, Gabriel a Hongler, Neural Tangent Kernel, 2018

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.