Reziduální nebo zkratkové spojení | AI slovník

Odborná definice

Residual connection přenáší vstup bloku priamou skratkou a kombinuje ho s transformací vypočítanou vrstvami, typicky ve forme y = F(x) + x. Blok se tak učí reziduálnu změnu vůči identite místo zcela nové transformace. Skratka zlepšuje tok gradientu a ulahčuje optimalizaci velmi hlubokých sítí. Pokud se rozměry nezhodují, používá se projekce nebo jiná úprava. Residual connection je obecný architektonický prvek, ne synonymum konkrétní rodiny Resnet.

Srozumitelné vysvětlení

Blok nemusí zakaždým znovu vytvářet celý signál. Dostane původní vstup přes přímou cestu a naučí se pouze opravu, kterou k nemu je třeba přidat. Pokud některé vrstvy zatím nevědí nic užitečné, skratka stále přenese informaci dále. To zjednodušuje trénink hlubokých sítí a umožňuje vrstvám dělat menší postupné úpravy. Při nesprávné škále aktivací nebo nekompatibilných rozmeroch však samotné spojení nestačí, architektura potřebuje správnou normalizaci a projekci.

Časté otázky

Proč residual connection pomáhá gradientem?

Derivace obsahuje příspěvek identity, takže gradient má přímou cestu přes blok. Snižuje se riziko, že se informace zcela ztratí v dlouhém reťazci transformací.

Co pokud mají x a F(x) rozdielny rozměr?

Použije se lineární nebo konvoluční projekce, případně downsampling. Operace musí zabezpečit kompatibilný tvar pro sčítání.

Je residual connection to jisté jako concatenation?

Ne. Sčítání zachovává rozměr a mieša signály po prvkoch. Concatenation zvečšuje počet kanálů a další vrstva se musí naučit, jako jejich kombinovat.

Kde se residual connections používají mimo CNN?

V Transformerech, MLP architektúrach, difúznych modelech, grafových sítích i sekvenčních modelech. Přesné umístění vůči normalizaci mění stabilitu tréninku.

Může být skratka škodlivá?

Pokud reziduálna větev a skratka mají nevyváženou škálu, síť může ignorovat jednu cestu nebo být nestabilná. Pomáhá inicializace, normalizace a reziduální škálování.

Související pojmy

Zdroje a redakční stopa

He et al., Deep Residual Learning for Image Recognition, 2015

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.