Odborná definícia
Význam a odborné vymedzenie pojmu
Weight sharing je návrhový princíp, pri ktorom sa ten istý parameterový tenzor používa na viacerých miestach výpočtového grafu. Konvolučná vrstva aplikuje spoločné jadro na rôzne priestorové pozície, rekurentná sieť opakuje rovnakú transformáciu v časových krokoch a niektoré viacvrstvové modely zdieľajú bloky naprieč hĺbkou. Zdieľanie znižuje počet voľných parametrov a vnáša predpoklad, že rovnaká operácia má byť užitočná v rôznych kontextoch. Nie je totožné s weight tying, ktorý zvyčajne označuje konkrétne vynútenie rovnosti medzi dvoma pomenovanými maticami. Nevhodné zdieľanie môže obmedziť kapacitu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si jednu šablónu, ktorou prechádzate celý obrázok, namiesto osobitnej šablóny pre každý pixel. Rovnaké hodnoty sa používajú opakovane, takže model potrebuje menej parametrov a naučený detektor hrany funguje na viacerých miestach. Podobne môže jedna transformácia spracúvať každý krok sekvencie. Výhoda vzniká iba vtedy, keď úloha skutočne obsahuje opakujúcu sa štruktúru. Ak rôzne pozície alebo vrstvy potrebujú odlišné správanie, tvrdé zdieľanie vytvorí úzke hrdlo a model bude musieť rozdiely komplikovane kódovať inde.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo CNN používajú weight sharing?
Rovnaké konvolučné jadro sa aplikuje na celé zorné pole. Model tak hľadá rovnaký lokálny vzor bez ohľadu na jeho polohu a výrazne znižuje počet parametrov.
Ako sa zdieľané váhy aktualizujú?
Gradienty zo všetkých miest použitia sa akumulujú do jedného parametra. Aktualizácia preto odráža kombinovaný tlak všetkých kontextov, v ktorých bol tenzor použitý.
Je weight sharing vždy úsporné aj výpočtovo?
Znižuje pamäť parametrov, ale počet aplikácií transformácie môže zostať vysoký. Výpočtová úspora závisí od architektúry a možnosti znovu použiť medzivýsledky.
Kde sa používa mimo konvolúcií?
V rekurentných sieťach, ALBERT type modeloch, siamských sieťach, neurónovom vyhľadávaní a supernetoch pre neural architecture search.
Ako sa zistí príliš agresívne zdieľanie?
Porovná sa s čiastočne alebo vôbec nezdieľaným variantom pri podobnom rozpočte. Sledujú sa špecifické chyby, kapacitné limity a konflikt gradientov medzi použitiami.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Deep Learning, Convolutional Networks Balanced and Deterministic Weight-sharing Helps Network Performance
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.