Odborná definícia
Odborná definícia
Catastrophic forgetting je prudká strata výkonu na skôr naučených úlohách po tom, ako sa neurónová sieť ďalej trénuje na nových dátach alebo úlohách. Aktualizácie parametrov potrebné pre nový cieľ môžu prepísať reprezentácie dôležité pre predchádzajúce schopnosti. Jav je typický pri sekvenčnom učení bez prístupu k pôvodným dátam. Zmierňuje sa rehearsalom, regularizáciou dôležitých váh, modulárnou architektúrou, replay bufferom alebo izoláciou adaptérov, pričom treba merať učenie nového aj udržanie starého výkonu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si model, ktorý najprv spoľahlivo rozpoznáva faktúry a potom ho dolaďujete iba na zmluvách. Po úspešnom tréningu zmlúv môže zrazu horšie čítať pôvodné faktúry, hoci ich kód nikto zámerne neodstránil. Nové gradienty zmenili spoločné váhy a narušili staré reprezentácie. Preto nestačí otestovať len novú funkciu. Pri každom ďalšom učení treba znovu spustiť regresné testy starších úloh a rozhodnúť, čo sa má zachovať, čo možno obetovať a aké dáta možno bezpečne prehrávať.
Časté otázky
Časté otázky
Je catastrophic forgetting rovnaké ako overfitting?
Nie. Overfitting znamená, že model sa príliš prispôsobí tréningovým dátam a zle generalizuje. Katastrofické zabúdanie opisuje stratu už zvládnutých schopností po sekvenčnom tréningu. Oba javy sa môžu vyskytnúť súčasne, ale vyžadujú odlišné diagnostické experimenty.
Ako funguje rehearsal alebo replay?
Do ďalšieho tréningu sa primiešavajú reprezentatívne príklady zo starších úloh, prípadne syntetické vzorky vytvorené generátorom. Model tak dostáva signál, že staré mapovanie má zostať funkčné. Výber pamäte musí riešiť súkromie, licencie, veľkosť a skreslenie vzoriek.
Čo chráni metóda Elastic Weight Consolidation?
Odhaduje, ktoré parametre boli dôležité pre predchádzajúcu úlohu, a penalizuje ich veľké zmeny počas nového učenia. Nezmrazí celú sieť, skôr vytvorí nerovnomerné obmedzenie. Úspech závisí od podobnosti úloh a kvality odhadu dôležitosti váh.
Ako sa zabúdanie meria?
Po každej tréningovej fáze sa vyhodnotia všetky predchádzajúce úlohy. Sleduje sa pokles oproti ich najlepšiemu historickému výsledku, priemerná presnosť, backward transfer a stabilita jednotlivých tried. Jedno agregované číslo môže skryť úplný kolaps malej, no kritickej schopnosti.
Týka sa jav aj dolaďovania veľkých jazykových modelov?
Áno. Úzko zameraný fine-tuning môže zmeniť štýl, bezpečnostné správanie alebo všeobecné znalosti modelu. Adaptéry a nízkorankové aktualizácie znižujú rozsah zásahu, ale negarantujú zachovanie všetkých vlastností. Potrebná je regresná sada pokrývajúca pôvodné kompetencie.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Kirkpatrick a kol., Overcoming Catastrophic Forgetting in Neural Networks
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.