Kompromis mezi zkreslením a variabilitou

Odborná definice

Bias-variance tradeoff popisuje napetie mezi systematickou chybou modelu a jeho citlivostí na konkrétní tréninkovou vzorek. Model s vysokým biasom je příliš omezený a nezachytí podstatný vztah, co vede k underfittingu. Model s vysokou variance se nadmerne prispůsobí detailom a šumu tréninkových dat, takže jeho výsledky se výrazně mění při jiném výběru vzorku. Při kvadratické strate lze očakávanou chybu rozložit na bias, variance a ireducibilný šum. V modernej hluboké AI je obraz zložitejší, ale princip zůstává užitečný při diagnostike generalizace.

Srozumitelné vysvětlení

Pokud na body v grafu priložíte priamku, může přehlédnout skutečné zakrivení, to je vysoký bias. Pokud vytvoríte velmi zvlnenou krivku, která projde přes každý tréninkový bod, zachytí i náhodný šum, to je vysoká variance. Cílem není zvolit model přesně uprostred podle zložitosti, ale najít konfiguraci, která funguje na nových datech. Více dat, regularizace, ensemble nebo vhodnější vlastnosti mohou měnit kompromis. Rozhodujúca je validační metodika, ne samotný tréninkový výkon.

Časté otázky

Jak se vysoký bias prejaví v metrikách?

Tréninková i validační chyba zůstávají relativně vysoké a blízké. Model nedokáže dostatečně vysvetlit ani data, na kterých se učil. Pomoci může bohatšia reprezentace, vhodnější architektura nebo menší regularizace.

Jak se rozpozná vysoká variance?

Tréninkový výkon je velmi dobrý, ale validační výrazně horší nebo nestabilný mezi foldmi. Model reaguje na malé změny datasetu. Pomáhá více dat, regularizace, časné zastavení, bagging nebo zjednodušení modelu.

Snižuje více tréninkových dat bias?

Často snižuje variance, protože odhad je stabilnější. Bias spůsobený nevhodnou třídou modelů nebo chybným cílem nemusí zmiznúť ani při obrovskom datasete. Více stejným způsobem skreslených dat může problém upevnit.

Jako souvisí bagging s variance?

Bagging priemeruje predikce modelů naučených na odlišných vzorcích. Pokud jejich chyby nejsou dokonale korelované, náhodné odchylky se zmenšia. Proto je účinný zejména při nestabilních algoritmoch, jako jsou hluboké rozhodovací stromy.

Platí klasický rozklad i pro klasifikační accuracy?

Přesný rozklad bias plus variance plus šum je najčistejší při kvadratické strate. Pro klasifikaci existují jiné formulace a intuíce se používá opatrne. Diagnostika se má opierat o learning curves a opakovanou validaci.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary
Breiman, Bagging Predictors, Machine Learning 1996

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.