Odborná definícia
Odborná definícia
Weighted cross-entropy je modifikácia krížovej entropie, pri ktorej sa strata príkladov alebo tried násobí vopred určenými váhami. V multiclass klasifikácii sa často priraďuje vyššia váha zriedkavej alebo prevádzkovo nákladnej triede, takže jej chyby viac ovplyvnia gradient. Váhy môžu vychádzať z inverznej frekvencie, efektívneho počtu vzoriek, nákladovej matice alebo validačného cieľa. Metóda nemení množstvo dát a sama neopravuje chybné štítky. Nevhodné váhy môžu zhoršiť kalibráciu, zvýšiť počet falošných pozitív a presunúť rozhodovaciu hranicu spôsobom, ktorý nezodpovedá reálnym nákladom.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak je iba jedno percento transakcií podvodných, model môže dosiahnuť vysokú presnosť tým, že podvod takmer nikdy neoznačí. Weighted cross-entropy povie, že chyba pri podvode má napríklad dvadsaťnásobnú cenu oproti chybe pri bežnej platbe. Gradient potom venuje menšinovej triede väčšiu pozornosť. Nie je to bezplatné zlepšenie, model môže začať označovať viac legitímnych platieb. Správne váhy preto nevychádzajú iba z pomeru tried, ale aj z nákladov zásahu, tolerancie rizika a prahu, ktorý sa bude používať v prevádzke.
Časté otázky
Časté otázky
Ako sa vypočítajú class weights?
Bežný základ je inverzná frekvencia alebo pomer celkového počtu k počtu vzoriek triedy. Praktické váhy sa potom dolaďujú podľa validačnej utility a nákladov chýb.
Je vážená strata to isté ako oversampling?
Nie. Váženie mení príspevok existujúcich príkladov ku gradientu, oversampling mení ich frekvenciu v batchoch. Výsledný efekt môže byť podobný, ale optimalizačná dynamika sa líši.
Prečo môže klesnúť kalibrácia pravdepodobností?
Tréningový cieľ už nezodpovedá prirodzenej prevalencii tried. Výstupné skóre môže potrebovať samostatnú kalibráciu na reprezentatívnej validačnej množine.
Má sa vážiť aj validačná metrika?
Metrika má odrážať reálny cieľ. Na reportovanie je vhodné uviesť confusion matrix, precision, recall, kalibráciu a nákladovú metriku, nie iba váženú stratu.
Čo ak sú menšinové štítky hlučné?
Vysoká váha zosilní aj nesprávne anotácie. Pred zvýšením váh treba auditovať kvalitu menšinovej triedy a zvážiť robustnú loss alebo kurátorovanie dát.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- PyTorch, CrossEntropyLoss
- scikit-learn, compute_class_weight
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.