Odborná definícia
Odborná definícia
Weight pruning je odstránenie alebo maskovanie parametrov, ktorých príspevok sa podľa zvoleného kritéria považuje za postrádateľný. Neštrukturálny pruning nulujeme jednotlivé prvky tenzora, štrukturálny odstraňuje celé kanály, hlavy, neuróny alebo bloky. Prerezávanie môže prebehnúť jednorazovo, iteratívne, počas tréningu alebo po ňom a často ho nasleduje dolaďovanie. Počet núl nie je automaticky rovný zrýchleniu, pretože reálny prínos závisí od formátu sparsity, kernelov, hardvéru a nákladov na indexovanie. Kvalita sa musí hodnotiť po exporte na cieľovej platforme.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model môže obsahovať množstvo spojení, ktoré po tréningu ovplyvňujú výstup len málo. Pruning ich označí maskou alebo odstráni, podobne ako keď sa z hustej siete ciest ponechajú iba trasy potrebné pre dopravu. Ak sa vynechávajú jednotlivé čísla, vznikne veľká matematická riedkosť, ktorú bežný procesor nemusí vedieť využiť. Odstránenie celého kanála alebo attention hlavy sa implementuje jednoduchšie, ale môže zasiahnuť dôležitú štruktúru. Preto sa sleduje nielen presnosť, ale aj skutočná pamäť, latencia a energetická spotreba.
Časté otázky
Časté otázky
Čo je magnitude pruning?
Parametre s najmenšou absolútnou hodnotou sa považujú za menej dôležité a vynulujú sa. Je jednoduchý, no ignoruje interakcie, gradienty a citlivosť vrstiev.
Aký je rozdiel medzi structured a unstructured pruning?
Unstructured odstráni jednotlivé váhy, structured celé pravidelné jednotky. Druhý typ býva ľahšie zrýchliteľný na štandardnom hardvéri.
Prečo sa model po pruningu dolaďuje?
Zostávajúce parametre sa musia prispôsobiť strate kapacity. Fine-tuning môže obnoviť časť presnosti, ak pruning neodstránil nenahraditeľné funkcie.
Je vysoká sparsity automaticky dobrá?
Nie. Deväťdesiat percent núl môže zostať pomalších než hustý menší model, ak runtime nepodporuje daný vzor riedkosti alebo vznikajú náklady na nepravidelný prístup.
Ako sa porovnávajú pruned modely?
Treba uviesť základný model, typ masky, globálny alebo lokálny prah, fine-tuning, veľkosť súboru, podporu runtime, latenciu a kvalitu na rovnakom teste.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- PyTorch, Pruning Tutorial Deep Compression
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.