Odborná definícia
Význam a odborné vymedzenie pojmu
Quantization-aware training, skrátene QAT, simuluje numerické účinky budúcej kvantizácie počas tréningu alebo dolaďovania. Do výpočtového grafu vkladá fake-quantization operácie, ktoré zaokrúhľujú a orezávajú hodnoty ako nízkobitová aritmetika, no gradienty sa prenášajú aproximovaným spôsobom. Model sa tak môže prispôsobiť chybám kvantizácie skôr, než sa exportuje do skutočného integer formátu. QAT nezaručuje zrýchlenie a podporované vrstvy, rozsahy aj formát musia zodpovedať cieľovému backendu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Je to skúška predstavenia na javisku s rovnakými obmedzeniami, aké budú pri premiére. Model sa počas dolaďovania stretáva so zaokrúhlenými aktiváciami a naučí sa upraviť váhy tak, aby chyby kompenzoval. Samotný tréning však stále často prebieha vo float aritmetike. Až export vytvorí skutočne kvantizovaný artefakt. Ak cieľový runtime používa iné rozsahy alebo nepodporuje niektorú vrstvu, skúška nezodpovedá premiére.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa QAT líši od post-training quantization?
PTQ kvantizuje hotový model bez ďalšieho učenia alebo iba s kalibráciou. QAT dovolí váham prispôsobiť sa simulovanej chybe.
Čo je fake quantization?
Hodnoty sa zaokrúhlia a spätne prevedú do float formátu, aby dopredný výpočet napodobnil nízkobitové úrovne.
Kedy má QAT najväčší prínos?
Pri citlivom modeli, nízkej bitovej šírke alebo aktiváciách s ťažko kalibrovateľným rozsahom, keď PTQ výrazne znižuje kvalitu.
Musia sa kvantizovať všetky vrstvy?
Nie. Kritické alebo nepodporované vrstvy môžu zostať vo vyššej presnosti, ak runtime zvládne zmiešaný formát.
Ako sa QAT vyhodnocuje?
Na exportovanom modeli v cieľovom runtime, s meraním kvality, latencie, pamäte a stability na reprezentatívnych vstupoch.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- TensorFlow Model Optimization, Quantization-aware training Jacob et al., Integer-Arithmetic-Only Inference, 2018
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.