Odborná definícia
Význam a odborné vymedzenie pojmu
Sparse model je model, v ktorom je veľká časť parametrov, aktivácií, expertov alebo spojení nulová či neaktívna pre daný výpočet. Riedkosť môže vzniknúť pruningom, regularizáciou, top-k routovaním alebo štruktúrovaným návrhom. Znižuje teoretický počet operácií a veľkosť uloženia, ale reálne zrýchlenie závisí od formy riedkosti a podpory hardvéru. Neštruktúrované nuly sa komprimujú ľahšie, než sa efektívne vykonávajú na bežných akcelerátoroch. Riedkosť sa dokumentuje pre parametre aj skutočne vykonané operácie, pretože tieto čísla sa môžu líšiť.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Hustá sieť používa pri každom výpočte takmer všetky spojenia. Riedky model časť spojení odstráni alebo aktivuje iba relevantný podmodel. Je to podobné organizácii, v ktorej sa na každú úlohu nezvoláva celý podnik, ale iba potrební odborníci. Na disku môže byť model menší a pri vhodnej štruktúre aj rýchlejší. Ak sú však nuly roztrúsené bez pravidla, hardvér môže tráviť čas ich vyhľadávaním a očakávané zrýchlenie sa neprejaví. Dve siete s rovnakým počtom núl môžu mať na tom istom akcelerátore úplne inú priepustnosť.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi štruktúrovanou a neštruktúrovanou riedkosťou?
Štruktúrovaná odstraňuje celé kanály, hlavy alebo bloky, ktoré hardvér vie preskočiť. Neštruktúrovaná nuluje jednotlivé váhy a často dosiahne vyššiu kompresiu, no horšiu akceleráciu.
Čo je pruning?
Pruning identifikuje menej dôležité parametre alebo štruktúry a odstráni ich. Po prerezaní sa model často ešte dolaďuje, aby obnovil časť stratenej kvality.
Je mixture-of-experts sparse model?
Áno v zmysle podmienenej aktivácie, ak router pre každý token vyberá iba malý počet expertov. Celkový počet parametrov môže byť veľký, ale aktívny výpočet menší.
Ako sa meria úžitok riedkosti?
Nestačí percento nulových váh. Meria sa veľkosť súboru, latencia, priepustnosť, pamäť, energia a kvalita na cieľovom hardvéri pri reálnych dávkach.
Môže sparse model zhoršiť robustnosť?
Áno. Pruning môže odstrániť redundantné cesty dôležité pre zriedkavé prípady. Kontrola musí zahŕňať menšinové skupiny, posun distribúcie a citlivosť na šum.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Deep Compression The Lottery Ticket Hypothesis
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.