Nevyvážený dataset | AI slovník

Odborná definice

Imbalanced dataset je klasifikační soubor, ve kterém jsou některé třídy zastúpené podstatně častěji než jiné. Nerovnováha může být přirozená, například při vzácné poruche, nebo vzniknout způsobem sběru a označování. Model optimalizujúci průměrnou ztrátu může uprednostnit majoritnou třídu a zanedbat vzácně případy, ačkoli mají vyšší praktický význam. Samotný poměr tříd neurčuje náročnost, důležité jsou prekrývání distribúcií, šum štítků, počet příkladů a náklady chyb. Řešení zahrnují vážení ztráty, resampling, vhodný práh, cielený sběr dat a metriky citlivé na minority.

Srozumitelné vysvětlení

V továrni může být ze stotisíc výrobků pouze sto chybných. Klasifikátor, který vždy řekne bez chyby, dosáhne 99,9 percenta accuracy a přitom nenájde jediný problém. Nerovnováha tedy nemění jen čísla v tabulke, ale i to, co se modelu vyplatí predikovat. Vývojář může zvýšit váhu chybných kusů, doplnit reálně příklady nebo změnit rozhodovací práh. Umelé vyrovnání však nesmí vytvořit nereálne vzory. Testovací sada má zachovat provozní výskyt, aby bylo viditelné, kolik falešných poplachů vznikne při skutečném objeme výroby.

Časté otázky

Jaký poměr tříd už znamená problém?

Neexistuje univerzální hranice. Poměr 10 ku 1 může být lahký při dobře oddelených třídách, zatímco 3 ku 1 může být ťažký při šume a prekrývaní. Rozhoduje výkon a náklad chyb.

Proč accuracy není vhodná hlavná metrika?

Dominantní třída může zakrýt nulový recall minority. Vhodnější jsou precision, recall, F1, PR AUC, confusion matrix a provozní náklady pro konkrétně typy omylů.

Co dělá oversampling?

Zvyšuje zastoupení minoritných příkladů jejich opakováním nebo syntetickou tvorbou. Pomáhá optimalizaci, ale může zvýšit přeučení, přenést chyby anotace nebo vytvořit body mimo reálné distribuce.

Má se validační sada také vyvážit?

Na porovnávání algoritmů lze použít kontrolovaný řez, ale finálne hodnocení má odrážat skutečnou prevalenci. Jinak se nesprávně odhadne počet poplachů, pozitívna prediktívna hodnota a kapacita obsluhy.

Jak se volí klasifikační práh při nerovnováhe?

Práh se nastaví podle požadovaného recall, precision, nákladovej funkce nebo kapacity následnej kontroly. Nemá se automaticky ponechat na 0,5, protože skóre a prevalence mohou vyžadovat jinou hranici.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Crash Course, Class-imbalanced datasets (developers.google.com)
Google Machine Learning Glossary, class-imbalanced dataset (developers.google.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.