Inference v nízké bitové přesnosti | AI slovník

Odborná definice

Quantized inference je provádění dopredného výpočtu modelu s nízkobitovými reprezentacemi a kernelmi, například int8, int4 nebo zmiešanou přesností. Runtime načte kvantizačné parametry, převede vstupy do požadovaného rozsahu, provede podporované operace a podle potřeby dekvantizuje výstup. Skutečný výkon závisí na hardwaru, datového layoutu, velikosti dávky a počtu operací, které zůstávají ve float formáte. Kvantizovaný soubor bez kompatibilného runtime není důkaz nízkobitovej exekúce.

Srozumitelné vysvětlení

Dva modely mohou mít stejnou velikost na disku a odlišnou rychlost. Jeden beží celý v int8 kerneloch, druhý při každé nepodporovanej vrstvě převádí údaje zpět do float formátu. Převod spotrebuje čas a energii. Proto se nekontroluje pouze prípona souboru. Profilování musí ukázat, které operace se na cílovém zařízení vykonali v nízké přesnosti a kde vznikli prechody.

Časté otázky

Je každý kvantizovaný model vhodný na integer inference?

Ne. Formát může obsahovat kvantizované váhy, ale aktivace nebo některé operace mohou zůstat ve float přesnosti.

Co je mixed-precision inference?

Různé vrstvy nebo tenzory používají rozdielnu bitovou šírku podle citlivosti a podpory hardwaru.

Jak se měří reálně zrychlení?

Na cílovém zařízení, při typickej dávce, včetně předzpracování, presunů paměti a postprocessingu.

Proč může klesnout přesnost pouze v jednom segmente?

Některé vstupy aktivují úzké rozsahy nebo citlivé cesty sítě. Agregovaná metrika může lokální degradaci skrýt.

Co je třeba verziovat?

Kvantizovaný graf, škály, nulové body, kalibračné data, runtime, hardware, kompilátor a nastavení kernelů.

Související pojmy

Zdroje a redakční stopa

TensorFlow Lite, Post-training quantization
PyTorch torchao, Quantization workflows

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.