validační ztrátová funkce | AI slovník

Odborná definice

Validation loss je hodnota ztrátové funkce vypočítaná na validačních datech při modelových parametrech získaných z tréninku. Vyjadřuje, jako dobře optimalizovaný cíl funguje na příkladech mimo aktualizace váh. Sleduje se po epochách při early stoppingu, porovnávání konfigurací a diagnostike přeučení. Její absolutní hodnota má význam pouze spolu s konkrétnou ztrátou, škálou cíle, váhami tříd a způsobem agregace. Nízká validační ztráta navíc nemusí znamenat dobrou kalibraci, férovost ani obchodný úžitok.

Srozumitelné vysvětlení

Model může na tréninkových datech znižovat chybu téměř bez prestávky, podobně jako študent, který si zapametá řešení ze zbierky. Validační ztráta ukazuje, zda se zlepšení přenáší i na úlohy, které při učení neviděl. Když tréninková ztráta dále klesá, ale validační začne rásť, model se pravděpodobně učí detaily a šum konkrétní vzorku. Důležité je sledovat průběh, ne pouze jedno číslo, a porovnat ho s metrikou, která odpovídá reálnemu rozhodnutí.

Časté otázky

Je validation loss to jisté jako validační přesnost?

Ne. Ztráta je optimalizačná funkce citlivá i na míru istoty predikce. Přesnost často hodnotí pouze správnost třídy po použití prahu.

Proč může ztráta rásť, ačkoli accuracy zůstává stejná?

Model může dělat stejný počet chyb, ale při chybných případech být čoraz sebaistejší. Log loss takéto prehnané pravděpodobnosti penalizuje výraznejšie.

Který bod se vybírá při early stoppingu?

Obvykle checkpoint s najnižšou vyhladenou validační ztrátou nebo najlepšou cílovou metrikou, přičemž patience chrání před reakcí na náhodné výkyvy.

Lze porovnávat validation loss mezi různými úlohami?

Bez normalizace ne. Hodnota závisí na definice ztráty, počtu výstupů, redukce, škály regresného cíle a váhování příkladů.

Co pokud je validační ztráta nižší než tréninková?

Může to způsobit dropout, augmentace, regularizačný člen zahrnutý pouze v tréninku nebo jednodušší validační vzorek. Není to automaticky chyba.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Early stopping of Stochastic Gradient Descent
PyTorch, CrossEntropyLoss

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.