Odborná definícia
Odborná definícia
Hidden layer je vrstva neurónovej siete umiestnená medzi vstupnou a výstupnou vrstvou, ktorej aktivácie nie sú priamo zadanými dátami ani konečnou predikciou. Transformuje predchádzajúcu reprezentáciu pomocou váh, biasov a nelinearity, prípadne normalizácie, pozornosti alebo reziduálneho spojenia. Skladanie skrytých vrstiev umožňuje modelu vytvárať hierarchické príznaky a aproximovať zložité funkcie. Označenie skrytá neznamená tajná ani nepozorovateľná, aktivácie možno zaznamenať. Ich význam však nie je automaticky ľudsky interpretovateľný a jednotlivá jednotka nemusí zodpovedať jedinému pojmu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Vstupná vrstva dostane pixely a výstupná povie, či je na obrázku mačka. Medzi nimi skryté vrstvy postupne menia reprezentáciu, prvá môže reagovať na hrany, ďalšia na tvary a hlbšia na kombinácie častí objektu. Model tieto medzikroky nedostane pomenované, vytvorí si ich počas učenia. Vývojár ich však môže zmerať, vizualizovať alebo upraviť. Problém je, že aktivácia jedného neurónu nemusí mať stabilný slovný význam. Informácia býva rozložená medzi mnoho jednotiek a ten istý neurón môže reagovať na viac nesúvisiacich vzorov.
Časté otázky
Časté otázky
Prečo sieť potrebuje nelinearitu v skrytej vrstve?
Bez nelineárnej aktivačnej funkcie by zloženie ľubovoľného počtu lineárnych vrstiev zostalo jednou lineárnou transformáciou. Nelinearita umožňuje vytvoriť zakrivené rozhodovacie hranice a zložitejšie reprezentácie.
Znamená viac skrytých vrstiev vždy lepší model?
Nie. Väčšia hĺbka zvyšuje kapacitu, ale aj nároky, riziko preučenia a problémy s optimalizáciou. Prínos závisí od dát, architektúry, regularizácie a toho, či úloha vyžaduje hierarchické spracovanie.
Ako sa určuje počet jednotiek vo vrstve?
Ide o hyperparameter ovplyvňujúci kapacitu a náklady. Volí sa experimentálne podľa validačného výkonu, latencie a pamäte, pričom sa sleduje, či užšia vrstva nevytvára informačné hrdlo alebo širšia iba memoruje.
Dajú sa skryté aktivácie použiť ako embedding?
Áno. Aktivácia vybranej vrstvy môže slúžiť ako reprezentácia pre clustering, retrieval alebo ďalší model. Vhodnosť vrstvy sa testuje na cieľovej úlohe, pretože rôzne hĺbky zachytávajú odlišné vlastnosti.
Čo znamená interpretovať skrytú vrstvu?
Používajú sa sondy, vizualizácia aktivácií, ablácie a analýza konceptov, aby sa zistilo, akú informáciu vrstva nesie. Korelácia aktivácie s konceptom však sama nedokazuje, že model túto aktiváciu kauzálne používa.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Goodfellow, Bengio a Courville, Deep Learning (deeplearningbook.org)
- Google Machine Learning Glossary (developers.google.com)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.