Skrytá vrstva | AI slovník

Odborná definice

Hidden layer je vrstva neuronové sítě umiestnená mezi vstupnou a výstupnou vrstvou, které aktivace nejsou přímo zadanými daty ani konečnou predikcí. Transformuje predchádzajúcu reprezentaci pomocí váh, biasů a nelinearity, případně normalizace, pozornosti nebo reziduálneho spojení. Skladání skrytých vrstev umožňuje modelu vytvářet hierarchické příznaky a aproximovat složité funkce. Označení skrytá neznamená tajná ani nepozorovatelná, aktivace lze zaznamenat. Jejich význam však není automaticky ludsky interpretovatelný a jednotlivá jednotka nemusí odpovídat jedinému pojmu.

Srozumitelné vysvětlení

Vstupní vrstva dostane pixely a výstupná řekne, zda je na obrázku mačka. Mezi nimi skryté vrstvy postupně mění reprezentaci, první může reagovat na hrany, další na tvary a hlbšia na kombinace částí objektu. Model tyto medzikroky nedostane pomenované, vytvoří si jejich během učení. Vývojář jejich však může zmerat, vizualizovat nebo upravit. Problém je, že aktivace jednoho neuronu nemusí mít stabilní slovný význam. Informace bývá rozložená mezi mnoho jednotek a ten jistý neuron může reagovat na více nesúvisiacich vzorů.

Časté otázky

Proč síť potřebuje nelinearitu v skrytej vrstvě?

Bez nelineárnej aktivačnej funkce by složení lubovolného počtu lineárních vrstev zostalo jednou lineárnou transformací. Nelinearita umožňuje vytvořit zakřivené rozhodovací hranice a složitější reprezentace.

Znamená více skrytých vrstev vždy lepší model?

Ne. Větší hloubka zvyšuje kapacitu, ale i nároky, riziko přeučení a problémy s optimalizací. Přínos závisí na dat, architektury, regularizace a toho, či úloha vyžaduje hierarchické zpracování.

Jak se určuje počet jednotek ve vrstvě?

Jde o hyperparameter ovplyvňujúci kapacitu a náklady. Volí se experimentálne podle validačního výkonu, latence a paměti, přičemž se sleduje, či užšia vrstva nevytváří informačné hrdlo nebo širší pouze memoruje.

Dají se skryté aktivace použít jako embedding?

Ano. Aktivace vybranej vrstvy může slúžit jako reprezentace pro clustering, retrieval nebo další model. Vhodnost vrstvy se testuje na cílové úloze, protože různé hloubky zachycují odlišné vlastnosti.

Co znamená interpretovat skrytou vrstvu?

Používají se sondy, vizualizace aktivací, ablace a analýza konceptů, aby se zistilo, jakou informaci vrstva nese. Korelace aktivace s konceptom však sama nedokazuje, že model tuto aktivaci kauzální používá.

Související pojmy

Zdroje a redakční stopa

Goodfellow, Bengio a Courville, Deep Learning (deeplearningbook.org)
Google Machine Learning Glossary (developers.google.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.