Odborná definícia
Význam a odborné vymedzenie pojmu
Knowledge distillation je tréningová technika, pri ktorej študentský model napodobňuje učiteľský model alebo ensemble pomocou mäkkých cieľov, logitov, medzivrstvových reprezentácií, attention máp alebo generovaných príkladov. Teplota zmäkčuje pravdepodobnostné rozdelenie a odhaľuje vzťahy medzi triedami, ktoré one-hot štítok neobsahuje. Cieľom býva menší, rýchlejší alebo lacnejší model, pričom treba overiť prenos chýb, biasu, kalibrácie a bezpečnostného správania učiteľa. Destilačný cieľ môže kombinovať viac lossov, ktorých relatívne váhy menia to, čo študent prevezme.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Veľký ensemble rozpoznáva obrázky presne, ale na mobilnom zariadení je príliš pomalý. Menší model sa netrénuje iba na správnej triede. Dostane aj informáciu, že učiteľ pri obrázku vlka priradil 70 percent vlkovi, 20 percent psovi a 8 percent líške. Tieto jemné pomery ukazujú podobnosť tried a pomáhajú študentovi naučiť sa hladšiu hranicu. Ak učiteľ systematicky zamieňa určitú menšinu, študent môže túto chybu prevziať a dokonca ju skryť za nižšiu latenciu. Menší model sa musí testovať samostatne, pretože rovnaké priemerné skóre môže skrývať iné typy chýb.
Časté otázky
Otázky, ktoré spresňujú význam
Čo sú mäkké ciele?
Pravdepodobnostné výstupy učiteľa pre všetky triedy, nie iba víťazný štítok. Nesú informáciu o relatívnej podobnosti a neistote. Často sa kombinujú s pôvodnými tvrdými štítkami.
Na čo slúži teplota pri destilácii?
Vyššia teplota zjemní rozdelenie softmaxu a zvýrazní malé pravdepodobnosti nevýherných tried. Pri tréningu sa vhodne škáluje aj distilačná strata. Teplota a váhy lossov sa validujú spoločne.
Musí byť učiteľ väčší než študent?
Nie nevyhnutne. Učiteľ môže byť ensemble, lepšie optimalizovaný model, model s ďalšími modalitami alebo rovnaká architektúra z inej fázy. Podstatná je užitočná informácia, ktorú študent nemá v bežných štítkoch.
Čo je feature distillation?
Študent napodobňuje interné reprezentácie učiteľa, nie iba koncové logity. Ak sa rozmery vrstiev líšia, používa sa projekcia alebo adaptačný modul. Zvolená vrstva musí prenášať relevantnú, nie náhodnú štruktúru.
Ako sa hodnotí úspešná destilácia?
Porovnáva sa kvalita, kalibrácia, robustnosť, férovosť, latencia, spotreba pamäte a energia voči učiteľovi aj nedestilovanému študentovi. Menší pokles pri hlavnej metrike nemusí ospravedlniť veľké bezpečnostné zhoršenie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Hinton, Vinyals a Dean, Distilling the Knowledge Gou a kol., Knowledge Distillation Survey
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.