Generalizační chyba | AI slovník

Odborná definice

Generalizační chyba je očekávaná hodnota ztrátové funkce modelu na nových příkladech z cílového rozdělení dat. Keďže celé rozdělení není známé, v praxi se odhaduje testovacou chybou na nezávislej vzorku. Odhad závisí na velikosti a reprezentativnosti testu, variability metrik a od toho, či test nebol použitý při ladění. Nízká tréninková chyba neposkytuje spolehlivý odhad generalizačnej chyby. Při distribučnom posune se mění samotný cílový proces, proto historická testovací chyba nemusí opisovat budoucí provozní riziko.

Srozumitelné vysvětlení

Představte si systém, který odhaduje dobu doručení. Jeho skutečná generalizační chyba by byla průměrná odchýlka na všech budoucích zásielkach v podmínkách, pro které ho chceme používat. Ty však předem nepoznáme, proto použijeme oddelenou vzorek minulých zásielok. Pokud byla tato vzorek malá, vybraná pouze z jednoho regiónu nebo opakovaně sledovaná během ladění, získané číslo může být optimistické. Generalizační chyba tedy není vlastnost jednoho souboru, ale teoretická veličina, kterou test pouze odhaduje s nejistotou.

Časté otázky

Jak se generalizační chyba liší od tréninkové chyby?

Tréninková chyba se počítá na příkladech, podle kterých se upravovali parametry. Generalizační chyba se vzťahuje na nové data, proto zachycuje i to, či model naučené vzory preniesol mimo tréninkové množiny.

Proč nestačí uvést jedno číslo testovací chyby?

Konečná testovací vzorek vytváří statistickou nejistotu. Interval spolahlivosti, bootstrap nebo opakované hodnocení ukážu, či rozdíl mezi modely prevyšuje náhodnou variabilitu výběru dat.

Co se stane, když se testovací množina používá při ladění?

Rozhodnutí se postupně prispůsobují i její náhodným zvláštnostiam a test prestáva být nezávislým odhadom. Na finálne porovnání je třeba nový nedotknutý test nebo správně vnorenou validaci.

Jak se generalizační chyba hodnotí při nevyvážených třídách?

Ztráta nebo metrika musí odrážat cílové náklady a podiely tříd. Průměr může zakrýt vysokou chybu menšinové skupiny, proto se uvádějí třídní výsledky, prahy a případně vážení.

Je chyba po distribučnom posune stále generalizačnou chybou?

Lze ji tak pomenovat pouze vzhledem na nové cílové rozdělení. Původní test odhadoval jinou veličinu, proto je třeba přesně uvést populaci, čas a provozní podmínky, ku kterým se číslo váže.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.