Odborná definícia
Význam a odborné vymedzenie pojmu
Incremental learning je spôsob tréningu, pri ktorom model prijíma nové dáta, triedy alebo úlohy postupne a aktualizuje sa bez úplného pretrénovania na celom historickom korpuse. Variant class-incremental pridáva kategórie, task-incremental rozlišuje úlohy a online učenie spracúva prichádzajúce príklady v krátkych intervaloch. Kľúčovým rizikom je katastrofické zabúdanie, keď nové gradienty poškodia výkon na skorších znalostiach. Používajú sa replay buffery, regularizácia dôležitých parametrov, destilácia a rozširovanie architektúry. Prevádzka musí rozlišovať skutočné učenie od obyčajného periodického retrainingu a sledovať poradie dát.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Klasifikátor dokumentov dnes pozná faktúry a zmluvy, o mesiac pribudnú objednávky a neskôr reklamačné protokoly. Pri inkrementálnom učení sa model rozširuje po etapách namiesto tréningu od nuly so všetkými starými súbormi. Ak sa učí iba z objednávok, môže zabudnúť znaky faktúr. Systém preto uchová malú reprezentatívnu vzorku starších príkladov alebo obmedzí zmeny parametrov dôležitých pre pôvodné triedy. Každá aktualizácia sa testuje na nových aj starých kategóriách, pretože vysoký výkon na poslednej dávke môže skrývať znehodnotenie celej služby.
Časté otázky
Otázky, ktoré spresňujú význam
Je incremental learning to isté ako online learning?
Online learning je užší režim s priebežnými alebo veľmi častými aktualizáciami. Inkrementálne učenie môže prebiehať aj po väčších etapách, napríklad pri pridaní novej triedy raz za štvrťrok.
Čo znamená katastrofické zabúdanie?
Parametre prispôsobené novým dátam prestanú reprezentovať skoršie úlohy. Model sa zlepší na poslednej etape, ale bez prístupu k starému rozdeleniu prudko stratí predchádzajúce schopnosti.
Ako funguje replay buffer?
Uchováva vybranú časť minulých príkladov alebo syntetických reprezentácií a mieša ich s novou dávkou. Obmedzená pamäť musí pokryť triedy, hraničné prípady a zmeny distribúcie.
Ako sa hodnotí inkrementálny model?
Po každej etape sa meria aktuálna úloha, všetky predošlé úlohy, priemerný výkon, zabúdanie a schopnosť preniesť znalosť dopredu. Jedno finálne skóre nevysvetlí priebeh degradácie.
Kedy je úplný retraining vhodnejší?
Keď sú historické dáta dostupné, výpočtový rozpočet prijateľný a zmena architektúry alebo taxonómie je veľká. Tréning od začiatku môže byť jednoduchší na audit a menej citlivý na poradie etáp.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Li a Hoiem, Learning without Forgetting (arxiv.org) Parisi a kol., Continual Lifelong Learning with Neural Networks: A Review (arxiv.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.