Odborná definícia
Význam a odborné vymedzenie pojmu
Curriculum learning je tréningová stratégia, pri ktorej sa poradie alebo výber príkladov mení od jednoduchších či spoľahlivejších k náročnejším, podobne ako učebné kurikulum. Obtiažnosť môže určiť človek, heuristika alebo model a plán môže meniť dáta, úlohy, šum či dĺžku sekvencie. Cieľom je zlepšiť optimalizáciu, rýchlosť alebo generalizáciu tým, že model najprv získa stabilné reprezentácie. Nesprávne kurikulum môže vytvoriť bias, oneskoriť dôležité hraničné prípady alebo viesť k zabudnutiu, preto sa porovnáva s náhodným poradím.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model na čítanie rukopisu môže začať na jasných znakoch a až neskôr dostať rozmazané, prekrývajúce sa alebo zriedkavé tvary. Prvé príklady mu pomôžu vytvoriť základné filtre a zložité prípady potom nerozbijú tréning tak skoro. Iné úlohy však nemajú jednoznačnú stupnicu náročnosti. To, čo je ľahké pre aktuálny model, nemusí byť pedagogicky najlepšie a dlhé odkladanie menšinových príkladov môže zhoršiť ich výkon. Kurikulum je preto experimentálny plán s meraním, nie všeobecné pravidlo, že jednoduché musí ísť vždy prvé.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa určuje obtiažnosť príkladu?
Podľa dĺžky, šumu, rarity, expertnej anotácie, historickej straty alebo istoty teacher modelu. Každý signál môže obsahovať bias. Pri adaptívnom kurikule sa obtiažnosť priebežne mení podľa toho, čo aktuálny model už zvláda.
Čo je self-paced learning?
Model sám preferuje príklady, ktoré majú pri aktuálnych parametroch nízku stratu, a postupne pripúšťa ťažšie. Mechanizmus môže stabilizovať učenie pri šume, ale tiež ignorovať systematicky náročné alebo menšinové prípady, ak nemá ochranné pravidlá.
Je curriculum learning vždy rýchlejší?
Nie. Viac fáz, výpočtu obtiažnosti a opakovaného samplingu môže tréning predĺžiť. Prínos sa hodnotí podľa času do cieľového výkonu, finálnej kvality a robustnosti. Na niektorých úlohách je náhodné miešanie rovnako dobré alebo lepšie.
Ako súvisí kurikulum s catastrophic forgetting?
Ak neskoré fázy obsahujú iba ťažké alebo nové typy dát, model môže oslabiť schopnosti získané na začiatku. Pomáha miešať časť starších príkladov, používať replay a priebežne merať všetky úrovne náročnosti, nie iba poslednú fázu.
Môže sa kurikulum použiť pri fine-tuningu LLM?
Áno. Dáta možno zoradiť podľa kvality, dĺžky, formátu inštrukcie alebo zložitosti reasoning úloh. Treba však kontrolovať, či skoré dominantné šablóny neuzamknú štýl a či neskoršie citlivé dáta nezmenia bezpečnostné správanie modelu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Bengio a kol., Curriculum Learning, ICML 2009
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.