Odborná definícia
Odborná definícia
Dvojitý zostup je jav, pri ktorom testovacia chyba s rastúcou kapacitou modelu najprv klesá, potom v okolí interpolačného prahu stúpne a pri ďalšom zväčšovaní modelu znovu klesá. Interpolačný prah nastáva, keď model dokáže takmer dokonale prispôsobiť tréningové dáta vrátane šumu. Jav narúša jednoduchú predstavu, že zložitejší model po bode preučenia iba zhoršuje generalizáciu. Môže sa objaviť pri zmene počtu parametrov, dĺžky tréningu alebo veľkosti datasetu a závisí od optimalizácie i štruktúry dát.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Klasická učebnicová krivka hovorí, že príliš jednoduchý model chybuje, stredne zložitý je najlepší a veľmi zložitý sa preučí. Pri moderných modeloch sa niekedy objaví ďalšia fáza. Keď kapacita prekoná bod, v ktorom model presne zapamätá tréning, ďalšie zväčšenie môže viesť k riešeniu, ktoré napriek interpolácii generalizuje lepšie. Dvojitý zostup nie je záruka, že väčší model vždy pomôže. Upozorňuje, že vzťah medzi kapacitou, šumom a generalizáciou môže byť nelineárny.
Časté otázky
Časté otázky
Čo je interpolačný prah?
Je to oblasť kapacity, v ktorej model prvýkrát dosiahne takmer nulovú tréningovú chybu a dokáže prispôsobiť aj šum v dátach.
Znamená dvojitý zostup, že preučenie neexistuje?
Nie. Ukazuje, že po oblasti výrazného preučenia môže pri určitých podmienkach nastať ďalšie zlepšenie, no výsledok závisí od dát a algoritmu.
Môže vzniknúť aj pri dlhšom tréningu?
Áno. Epoch wise double descent opisuje podobný priebeh v čase, keď sa testovacia chyba po počiatočnom zhoršení neskôr znovu zlepší.
Prečo je jav dôležitý pri hlbokých sieťach?
Moderné siete sú často silne preparametrizované, napriek tomu generalizujú. Dvojitý zostup je jeden z rámcov, ktoré pomáhajú skúmať tento nesúlad s klasickou intuíciou.
Má sa podľa neho automaticky zvoliť najväčší model?
Nie. Rozhodujú validačné výsledky, robustnosť, náklady, kalibrácia a riziko. Teoretický jav nenahrádza meranie na reprezentatívnych dátach.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Reconciling modern machine-learning practice and the classical bias-variance trade-off
- Deep Double Descent
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.