Sparse model | AI slovník | DNA marketing®

Odborná definice

Sparse model je model, ve kterém je velká část parametrů, aktivací, expertů nebo spojení nulová či neaktívna pro daný výpočet. Řídkost může vzniknout pruningom, regularizací, top-k routováním nebo štruktúrovaným návrhom. Snižuje teoretický počet operací a velikost uložení, ale reálně zrychlení závisí na formy riedkosti a podpory hardwaru. Nestrukturovaná nuly se komprimují snazší, než se efektivně vykonávají na běžných akcelerátoroch. Řídkost se dokumentuje pro parametry i skutečně vykonané operace, protože tyto čísla se mohou lišit.

Srozumitelné vysvětlení

Hustá síť používá při každém výpočtu téměř všechny spojení. Riedky model část spojení odstraní nebo aktivuje pouze relevantní podmodel. Je to podobné organizaci, ve které se na každou úlohu nezvoláva celý podnik, ale pouze potrební odborníci. Na disku může být model menší a při vhodné štruktúre i rychlejší. Pokud jsou však nuly roztrúsené bez pravidla, hardware může trávit čas jejich vyhledáváním a očakávané zrychlení se neprejaví. Dvě sítě s stejným počtem núl mohou mít na tom istom akcelerátore zcela jinou propustnost.

Časté otázky

Jaký je rozdíl mezi štruktúrovanou a neštruktúrovanou riedkosťou?

Štruktúrovaná odstraňuje celé kanály, hlavy nebo bloky, které hardware ví preskočit. Nestrukturovaná nuluje jednotlivé váhy a často dosáhne vyšší kompresi, ale horší akceleraci.

Co je pruning?

Pruning identifikuje méně důležité parametry nebo struktury a odstraní jejich. Po prerezaní se model často ještě dolaďuje, aby obnovil část stratenej kvality.

Je mixture-of-experts sparse model?

Ano v smyslu podmienenej aktivace, pokud router pro každý token vybírá pouze malý počet expertů. Celkový počet parametrů může být velký, ale aktivní výpočet menší.

Jak se měří úžitok riedkosti?

Nestačí percento nulových váh. Měří se velikost souboru, latence, propustnost, paměť, energie a kvalita na cílovém hardwaru při reálných dávkách.

Může sparse model zhoršit robustnost?

Ano. Pruning může odstranit redundantné cesty důležité pro vzácné případy. Kontrola musí zahrnovat menšinové skupiny, posun distribuce a citlivost na šum.

Související pojmy

Zdroje a redakční stopa

Deep Compression The Lottery Ticket Hypothesis

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.