Odborná definícia
Odborná definícia
Generalizačná chyba je očakávaná hodnota stratovej funkcie modelu na nových príkladoch z cieľového rozdelenia dát. Keďže celé rozdelenie nie je známe, v praxi sa odhaduje testovacou chybou na nezávislej vzorke. Odhad závisí od veľkosti a reprezentatívnosti testu, variability metrík a od toho, či test nebol použitý pri ladení. Nízka tréningová chyba neposkytuje spoľahlivý odhad generalizačnej chyby. Pri distribučnom posune sa mení samotný cieľový proces, preto historická testovacia chyba nemusí opisovať budúce prevádzkové riziko.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si systém, ktorý odhaduje dobu doručenia. Jeho skutočná generalizačná chyba by bola priemerná odchýlka na všetkých budúcich zásielkach v podmienkach, pre ktoré ho chceme používať. Tie však vopred nepoznáme, preto použijeme oddelenú vzorku minulých zásielok. Ak bola táto vzorka malá, vybraná iba z jedného regiónu alebo opakovane sledovaná počas ladenia, získané číslo môže byť optimistické. Generalizačná chyba teda nie je vlastnosť jedného súboru, ale teoretická veličina, ktorú test iba odhaduje s neistotou.
Časté otázky
Časté otázky
Ako sa generalizačná chyba líši od tréningovej chyby?
Tréningová chyba sa počíta na príkladoch, podľa ktorých sa upravovali parametre. Generalizačná chyba sa vzťahuje na nové dáta, preto zachytáva aj to, či model naučené vzory preniesol mimo tréningovej množiny.
Prečo nestačí uviesť jedno číslo testovacej chyby?
Konečná testovacia vzorka vytvára štatistickú neistotu. Interval spoľahlivosti, bootstrap alebo opakované hodnotenie ukážu, či rozdiel medzi modelmi prevyšuje náhodnú variabilitu výberu dát.
Čo sa stane, keď sa testovacia množina používa pri ladení?
Rozhodnutia sa postupne prispôsobujú aj jej náhodným zvláštnostiam a test prestáva byť nezávislým odhadom. Na finálne porovnanie treba nový nedotknutý test alebo správne vnorenú validáciu.
Ako sa generalizačná chyba hodnotí pri nevyvážených triedach?
Strata alebo metrika musí odrážať cieľové náklady a podiely tried. Priemer môže zakryť vysokú chybu menšinovej skupiny, preto sa uvádzajú triedne výsledky, prahy a prípadne váženie.
Je chyba po distribučnom posune stále generalizačnou chybou?
Možno ju tak pomenovať iba vzhľadom na nové cieľové rozdelenie. Pôvodný test odhadoval inú veličinu, preto treba presne uviesť populáciu, čas a prevádzkové podmienky, ku ktorým sa číslo viaže.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.