Regularization | AI slovník

Odborná definícia

Regularization označuje postupy, ktoré obmedzujú efektívnu zložitosť modelu alebo zavádzajú preferenciu jednoduchších a stabilnejších riešení, aby sa zlepšila generalizácia mimo tréningových dát. Môže mať podobu penalizácie parametrov, obmedzenia normy, dropout, dátovej augmentácie, šumu, early stoppingu alebo architektonického obmedzenia. Regularizačný účinok zvyšuje systematické skreslenie, ale môže znížiť rozptyl. Jeho sila sa volí na validačných dátach a nesmie sa posudzovať iba podľa tréningovej straty.

Zrozumiteľné vysvetlenie

Model s veľkou kapacitou si môže zapamätať náhodné detaily tréningovej vzorky. Regularizácia mu sťaží používanie príliš komplikovaného riešenia, napríklad zmenší váhy, náhodne vypína časti siete alebo ukončí učenie skôr, než začne kopírovať šum. Cieľom nie je mať čo najjednoduchší model za každú cenu, ale nájsť mieru obmedzenia, pri ktorej sa zlepší výkon na nových prípadoch. Príliš slabý zásah vedie k preučeniu, príliš silný k podučeniu. Správna sila sa preto hľadá podľa chyby na oddelených dátach.

Časté otázky

Je L1 a L2 jediná forma regularizácie?

Nie. Regularizačný efekt môže vytvoriť dropout, augmentácia, label smoothing, zdieľanie parametrov, early stopping, menšia architektúra alebo šum v tréningu.

Ako spoznám príliš silnú regularizáciu?

Tréningový aj validačný výkon zostáva slabý a model nevie zachytiť ani stabilný signál. Rozdiel medzi tréningom a validáciou môže byť malý, ale absolútna chyba vysoká.

Prečo sa sila regularizácie ladí na validácii?

Tréningový cieľ zahŕňa penalizáciu a nehovorí priamo o generalizácii. Validačné dáta odhadujú, ktorá sila obmedzenia funguje na nevidených prípadoch.

Je dátová augmentácia regularizácia?

Áno, ak vytvára realistické varianty, ktoré model nútia zachytiť invariancie namiesto povrchových detailov. Nerealistická augmentácia však môže meniť cieľový význam.

Môže regularizácia zlepšiť kalibráciu?

Niekedy áno, pretože potláča extrémne a nestabilné skóre. Nie je to záruka a kalibrácia sa má merať samostatne na dátach z cieľového prostredia.

Súvisiace pojmy

Zdroje a redakčná stopa

Google Machine Learning Glossary, Regularization

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.