Katastrofické zapomínání | AI slovník

Odborná definice

Catastrophic forgetting je prudká ztráta výkonu na dříve naučených úlohách po tom, jak se neuronová síť dále trénuje na nových datech nebo úlohách. Aktualizace parametrů potřebné pro nový cíl mohou prepísat reprezentace důležité pro předchozí schopnosti. Jev je typický při sekvenčním učení bez přístupu k původným datům. Zmierňuje se rehearsalom, regularizací důležitých váh, modulárnou architekturou, replay bufferom nebo izolací adaptérů, přičemž je třeba měřit učení nového i udržání starého výkonu.

Srozumitelné vysvětlení

Představte si model, který nejprve spolehlivě rozpoznáva faktúry a potom ho dolaďujete pouze na zmluvách. Po úspešnom tréninku zmlúv může zrazu hůře číst původní faktúry, ačkoli jejich kód nikto záměrně neodstránil. Nové gradienty změnily společné váhy a narušili staré reprezentace. Proto nestačí otestovat jen novou funkci. Při každém dalším učení je třeba znovu spustit regresní testy starších úloh a rozhodnout, co se má zachovat, co lze obetovat a jaké data lze bezpečně prehrávat.

Časté otázky

Je catastrophic forgetting stejné jako overfitting?

Ne. Overfitting znamená, že model se příliš prispůsobí tréninkovým datům a špatně generalizuje. Katastrofické zapomínání popisuje ztrátu už zvládnutých schopností po sekvenčním tréninku. Oba javy se mohou vyskytnúť současně, ale vyžadují odlišné diagnostické experimenty.

Jako funguje rehearsal nebo replay?

Do dalšího tréninku se primiešavají reprezentativní příklady ze starších úloh, případně syntetická vzorku vytvořené generátorom. Model tak dostává signál, že staré mapování má zůstat funkční. Výběr paměti musí řešit soukromí, licence, velikost a zkreslení vzorků.

Co chrání metoda Elastic Weight Consolidation?

Odhaduje, které parametry byly důležité pro predchádzajúcu úlohu, a penalizuje jejich velké změny během nového učení. Nezmrazí celou síť, dříve vytvoří nerovnomerné omezení. Úspěch závisí na podobnosti úloh a kvality odhadu důležitosti váh.

Jak se zapomínání měří?

Po každé tréninkové fáze se vyhodnotia všechny předchozí úlohy. Sleduje se pokles oproti jejich najlepšiemu historickému výsledku, průměrná přesnost, backward transfer a stabilita jednotlivých tříd. Jedno agregované číslo může skrýt úplný kolaps malé, ale kritické schopnosti.

Týká se jev i dolaďování velkých jazykových modelů?

Ano. Úzko zaměřený fine-tuning může změnit styl, bezpečnostní chování nebo obecné znalosti modelu. Adaptéry a nízkorankové aktualizace snižují rozsah zásahu, ale negarantují zachování všech vlastností. Potřebná je regresná sada pokrývajúca původní kompetence.

Související pojmy

Zdroje a redakční stopa

Kirkpatrick a kol., Overcoming Catastrophic Forgetting in Neural Networks

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.