Odborná definícia
Význam a odborné vymedzenie pojmu
Residual connection prenáša vstup bloku priamou skratkou a kombinuje ho s transformáciou vypočítanou vrstvami, typicky vo forme y = F(x) + x. Blok sa tak učí reziduálnu zmenu voči identite namiesto úplne novej transformácie. Skratka zlepšuje tok gradientu a uľahčuje optimalizáciu veľmi hlbokých sietí. Ak sa rozmery nezhodujú, používa sa projekcia alebo iná úprava. Residual connection je všeobecný architektonický prvok, nie synonymum konkrétnej rodiny ResNet.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Blok nemusí zakaždým znovu vytvárať celý signál. Dostane pôvodný vstup cez priamu cestu a naučí sa iba opravu, ktorú k nemu treba pridať. Ak niektoré vrstvy zatiaľ nevedia nič užitočné, skratka stále prenesie informáciu ďalej. To zjednodušuje tréning hlbokých sietí a umožňuje vrstvám robiť menšie postupné úpravy. Pri nesprávnej škále aktivácií alebo nekompatibilných rozmeroch však samotné spojenie nestačí, architektúra potrebuje správnu normalizáciu a projekciu.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo residual connection pomáha gradientom?
Derivácia obsahuje príspevok identity, takže gradient má priamu cestu cez blok. Znižuje sa riziko, že sa informácia úplne stratí v dlhom reťazci transformácií.
Čo ak majú x a F(x) rozdielny rozmer?
Použije sa lineárna alebo konvolučná projekcia, prípadne downsampling. Operácia musí zabezpečiť kompatibilný tvar pre sčítanie.
Je residual connection to isté ako concatenation?
Nie. Sčítanie zachováva rozmer a mieša signály po prvkoch. Concatenation zväčšuje počet kanálov a ďalšia vrstva sa musí naučiť, ako ich kombinovať.
Kde sa residual connections používajú mimo CNN?
V Transformeroch, MLP architektúrach, difúznych modeloch, grafových sieťach aj sekvenčných modeloch. Presné umiestnenie voči normalizácii mení stabilitu tréningu.
Môže byť skratka škodlivá?
Ak reziduálna vetva a skratka majú nevyváženú škálu, sieť môže ignorovať jednu cestu alebo byť nestabilná. Pomáha inicializácia, normalizácia a reziduálne škálovanie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- He et al., Deep Residual Learning for Image Recognition, 2015
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.