Model compression | AI slovník

Odborná definice

Model compression je soubor techník znižujúcich pameťové, výpočetní nebo prenosové nároky modelu při zachování prijatelného výkonu. Zahrnuje kvantizaci, pruning, distilaci znalostí, low-rank aproximace, sdílení parametrů a návrh menšej architektury. Cíl se může měřit velikostí souboru, latencí, spotřebou energie, priepustností nebo nákladem. Kompresný poměr sám o sebe nestačí, protože reálně zrychlení závisí na hardwaru, runtime, hustoty operací a podpory datového formátu.

Srozumitelné vysvětlení

Velký model může mít dobrou přesnost, ale nezmestí se do mobilu nebo odpovídá příliš pomalu. Komprese se snaží odstranit nadbytočné parametry, použít menší číselnou přesnost nebo přenést chování do menšieho modelu. Výsledek je třeba měřit na cílovém zařízení, protože soubor polovičnej velikosti nemusí být dvakrát rychlejší. Některé metody změní chyby nerovnomerne, například zhoršia vzácně třídy nebo citlivost na malé vstupy, ačkoli průměrná metrika zůstane podobná.

Časté otázky

Jaký je rozdíl mezi pruningom a kvantizací?

Pruning odstraňuje nebo vynuluje parametry a struktury. Kvantizace reprezentuje váhy a aktivace menším počtem bitů.

Je menší soubor automaticky rychlejší?

Ne. Rychlost závisí na podporovaných operací, pameťových presunů, batch size a akcelerátora. Nestrukturovaná řídkost nemusí přinést zrychlení.

Co je post-training quantization?

Model se kvantizuje po tréninku, často s malou kalibračnou sadou. Je jednodušší, ale při citlivých modelech může stratit více přesnosti než quantization-aware training.

Jak se hodnotí komprimovaný model?

Rovnakými úlohami a segmentmi jako původní model, plus latence, paměť, energie, stabilita a kompatibilita na skutečném cílovém hardwaru.

Může komprese zlepšit generalizaci?

Mierna regularizace nebo odstranění nadbytočnosti může někdy pomoci, ale není to zaručené. Primárnym cílem je efektívnost při kontrolovanom poklese kvality.

Související pojmy

Zdroje a redakční stopa

Han et al., Deep Compression

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.