Odborná definice
Odborná definice
Quantization-aware training, zkráceně QAT, simuluje numerické účinky budúcej kvantizace během tréninku nebo dolaďování. Do výpočtového grafu vkladá fake-quantization operace, které zaokrúhlují a orezávají hodnoty jako nízkobitová aritmetika, ale gradienty se prenášají aproximovaným způsobem. Model se tak může přizpůsobit chybám kvantizace dříve, než se exportuje do skutečného integer formátu. QAT nezaručuje zrychlení a podporované vrstvy, rozsahy i formát musí odpovídat cielovému backendu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Je to skúška predstavení na javisku s rovnakými obmedzeniami, jaké budú při premiére. Model se během dolaďování stretáva se zaokrúhlenými aktivacemi a naučí se upravit váhy tak, aby chyby kompenzoval. Samotný trénink však stále často probíhá ve float aritmetike. Až export vytvoří skutečně kvantizovaný artefakt. Pokud cílový runtime používá jiné rozsahy nebo nepodporuje niektorou vrstvu, skúška neodpovídá premiére.
Časté otázky
Časté otázky
Jak se QAT liší od post-training quantization?
PTQ kvantizuje hotový model bez dalšího učení nebo pouze s kalibrací. QAT dovolí váham přizpůsobit se simulovanej chybě.
Co je fake quantization?
Hodnoty se zaokrúhlia a spetne prevedou do float formátu, aby dopředný výpočet napodobnil nízkobitové úrovně.
Kdy má QAT největší přínos?
Při citlivom modeli, nízké bitové šírke nebo aktivacích s těžko kalibrovatelným rozsahem, když PTQ výrazně snižuje kvalitu.
Musí se kvantizovat všechny vrstvy?
Ne. Kritické nebo nepodporované vrstvy mohou zůstat ve vyššej přesnosti, pokud runtime zvládne zmiešaný formát.
Jak se QAT vyhodnocuje?
Na exportovanom modeli v cílovém runtime, s meráním kvality, latence, paměti a stability na reprezentatívnych vstupech.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- TensorFlow Model Optimization, Quantization-aware training Jacob et al., Integer-Arithmetic-Only Inference, 2018
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.