sdílení parametrů mezi výpočty | AI slovník

Odborná definice

Weight sharing je návrhový princip, při kterém se ten jistý parameterový tenzor používá na více miestach výpočtového grafu. Konvoluční vrstva aplikuje společné jádro na různé prostorové pozice, rekurentní síť opakuje stejnou transformaci v časových krocích a některé viacvrstvové modely zdielají bloky napříč hlbkou. Sdílení snižuje počet volných parametrů a vnáša předpoklad, že stejná operace má být užitečná v různých kontextoch. Není totožné s weight tying, který obvykle označuje konkrétně vynucení rovnosti mezi dvěma pomenovanými maticami. Nevhodné sdílení může omezit kapacitu.

Srozumitelné vysvětlení

Představte si jednu šablónu, kterou prechádzate celý obrázek, místo osobitnej šablóny pro každý pixel. Stejné hodnoty se používají opakovaně, takže model potřebuje méně parametrů a naučený detektor hrany funguje na více miestach. Podobně může jedna transformace spracúvat každý krok sekvence. Výhoda vzniká pouze tehdy, když úloha skutečně obsahuje opakujúcu se strukturu. Pokud různé pozice nebo vrstvy potřebují odlišné chování, tvrdé sdílení vytvoří úzké hrdlo a model bude muset rozdíly komplikovane kódovat inde.

Časté otázky

Proč CNN používají weight sharing?

Stejné konvolučné jádro se aplikuje na celé zorné pole. Model tak hledá stejný lokální vzor bez ohladu na jeho polohu a výrazně snižuje počet parametrů.

Jak se zdielané váhy aktualizují?

Gradienty ze všech miest použití se akumulují do jednoho parametru. Aktualizace proto odráží kombinovaný tlak všech kontextů, ve kterých byl tenzor použitý.

Je weight sharing vždy úsporné i výpočetně?

Snižuje paměť parametrů, ale počet aplikací transformace může zůstat vysoký. Výpočetní úspora závisí na architektury a možnosti znovu použít medzivýsledky.

Kde se používá mimo konvolúcií?

V rekurentních sítích, ALBERT type modelech, siamských sítích, neurónovom vyhledávání a supernetoch pro neural architecture search.

Jak se zistí příliš agresívne sdílení?

Porovná se s částečně nebo vůbec nezdielaným variantom při podobnom rozpočte. Sledují se specifické chyby, kapacitné limity a konflikt gradientů mezi použitiami.

Související pojmy

Zdroje a redakční stopa

Deep Learning, Convolutional Networks Balanced and Deterministic Weight-sharing Helps Network Performance

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.