Odborná definícia
Odborná definícia
Neural tangent kernel, skrátene NTK, je jadro odvodené z gradientov výstupu neurónovej siete podľa jej parametrov. Opisuje podobnosť dvoch vstupov z pohľadu toho, ako by malé zmeny váh ovplyvnili ich predikcie. Pri určitých nekonečne širokých sieťach zostáva NTK počas gradientného tréningu približne konštantné a dynamika učenia sa dá analyzovať ako jadrová regresia. Tento výsledok je teoretický limit, nie tvrdenie, že každá konečná hlboká sieť sa správa lineárne alebo že reprezentácie počas tréningu nemení.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si extrémne širokú sieť, v ktorej sa každý jednotlivý parameter pohne iba nepatrne. Namiesto sledovania miliárd malých pohybov možno zostaviť maticu, ktorá hovorí, ktoré vstupy reagujú na úpravy váh podobným spôsobom. Táto matica je NTK. Umožní skúmať rýchlosť učenia a generalizáciu bez simulovania každého detailu siete. Pri bežnom modeli však šírka, inicializácia a veľkosť krokov rozhodujú, či je takáto aproximácia užitočná.
Časté otázky
Časté otázky
Je NTK obyčajná jadrová funkcia zadaná človekom?
Nie. Vzniká z konkrétnej architektúry a jej gradientov, takže nesie informáciu o parametrizácii neurónovej siete.
Platí konštantné NTK aj pre malé siete?
Nie všeobecne. Konečné siete môžu meniť reprezentácie a ich tangentové jadro sa počas tréningu môže výrazne posúvať.
Na čo sa NTK používa v praxi?
Najmä na teoretickú analýzu konvergencie, spektrálnych vlastností a vplyvu architektúry. Pri veľkých dátach je explicitná jadrová matica drahá.
Ako NTK súvisí s gaussovským procesom?
Nekonečne široká náhodne inicializovaná sieť môže indukovať gaussovský proces, kým NTK opisuje jej tréningovú dynamiku pri gradientnom zostupe.
Môže dobrý NTK výsledok zaručiť kvalitu neurónovej siete?
Nie. Limitná analýza nemusí zachytiť učenie reprezentácií, regularizáciu, optimalizačné javy ani prevádzkové obmedzenia konkrétneho modelu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Jacot, Gabriel a Hongler, Neural Tangent Kernel, 2018
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.