Odborná definícia
Význam a odborné vymedzenie pojmu
Overfitting nastáva, keď model prispôsobí parametre tréningovým dátam vrátane šumu, náhodných korelácií alebo detailov konkrétneho zberu natoľko, že sa zhorší výkon na nových prípadoch z cieľovej distribúcie. Typickým signálom je pokračujúci pokles tréningovej straty pri stagnácii alebo raste validačnej chyby. Príčiny zahŕňajú vysokú kapacitu, malý alebo nereprezentatívny dataset, únik informácií a nadmerné ladenie podľa jednej validačnej množiny. Ochrana využíva správne rozdelenie dát, regularizáciu, augmentáciu, early stopping a externý test.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model na fotografiách výrobkov môže dosiahnuť takmer dokonalý výsledok, pretože si zapamätal konkrétne pozadie štúdia, nie tvar výrobku. Na nových fotografiách zo skladu potom zlyhá. To je preučenie na vedľajší vzor, ktorý v tréningu koreloval s labelom. Viac dát pomôže iba vtedy, ak prináša potrebnú rozmanitosť. Náhodné rozdelenie môže problém skryť, ak sa takmer rovnaké snímky dostanú do tréningu aj testu. Preto sa dáta delia podľa objektu, času, zákazníka alebo zdroja a po každom kole ladenia zostáva nedotknutý finálny test.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa overfitting prejaví na learning curve?
Tréningová chyba ďalej klesá, zatiaľ čo validačná sa prestane zlepšovať alebo rastie. Veľkosť medzery sa interpretuje spolu s absolútnym výkonom a neistotou merania.
Môže mať model nízku chybu na validácii a byť preučený?
Áno, ak sa hyperparametre opakovane ladili podľa tej istej validačnej množiny, ak došlo k duplicite alebo ak validácia nereprezentuje budúce prostredie.
Ako regularizácia znižuje preučenie?
Obmedzuje efektívnu kapacitu modelu penalizáciou váh, náhodným vypínaním jednotiek, hladšími cieľmi alebo iným priorom. Príliš silná regularizácia spôsobí underfitting.
Prečo viac parametrov automaticky neznamená horšiu generalizáciu?
Moderné modely môžu byť silne overparametrizované a napriek tomu generalizovať vďaka optimalizácii, dátam a implicitným priorom. Riziko sa posudzuje empiricky na nezávislých a scenárových testoch.
Ako odlíšiť overfitting od distribution shift?
Overfitting sa prejaví slabou generalizáciou aj na reprezentatívnom teste rovnakej úlohy. Distribution shift znamená, že produkčné dáta sa líšia od referencie. V praxi môžu pôsobiť súčasne a vyžadujú odlišné zásahy.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, Overfitting
- scikit-learn, Learning Curves
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.