vážená křížová entropie | AI slovník

Odborná definice

Weighted cross-entropy je modifikace krížovej entropie, při které se ztráta příkladů nebo tříd násobí předem určenými váhami. V multiclass klasifikaci se často přiřazuje vyšší váha vzácné nebo prevádzkovo nákladnej třídě, takže její chyby více ovplyvnia gradient. Váhy mohou vycházet z inverznej frekvence, efektívneho počtu vzorků, nákladovej matice nebo validačního cíle. Metoda nemění množství dat a sama neopravuje chybné štítky. Nevhodné váhy mohou zhoršit kalibraci, zvýšit počet falešných pozitív a presunúť rozhodovací hranici způsobem, který neodpovídá reálnym nákladem.

Srozumitelné vysvětlení

Pokud je pouze jedno percento transakcií podvodných, model může dosáhnout vysokou přesnost tím, že podvod téměř nikdy neoznačí. Weighted cross-entropy řekne, že chyba při podvode má například dvadsaťnásobnou cenu oproti chybě při běžné platbe. Gradient potom venuje menšinové třídě větší pozornost. Není to bezplatné zlepšení, model může začít označovat více legitímnych platieb. Správně váhy proto nevychádzají pouze z pomeru tříd, ale i z nákladů zásahu, tolerance rizika a prahu, který se bude používat v provozu.

Časté otázky

Jak se vypočítají class weights?

Běžný základ je inverzná frekvence nebo poměr celkového počtu k počtu vzorků třídy. Praktické váhy se potom dolaďují podle validační utility a nákladů chyb.

Je vážená ztráta to jisté jako oversampling?

Ne. Vážení mění příspěvek existujúcich příkladů ku gradientu, oversampling mění jejich frekvenci v batchoch. Výsledný efekt může být podobný, ale optimalizačná dynamika se liší.

Proč může klesnout kalibrace pravděpodobností?

Tréninkový cíl už neodpovídá prirodzenej prevalencii tříd. Výstupní skóre může potrebovat samostatnou kalibraci na reprezentatívnej validační množině.

Má se vážiť i validační metrika?

Metrika má odrážat reálný cíl. Na reportování je vhodné uvést confusion matrix, precision, recall, kalibraci a nákladovou metriku, ne pouze váženou ztrátu.

Co pokud jsou menšinové štítky hlučné?

Vysoká váha zosilní i nesprávně anotace. Před zvýšením váh je třeba auditovat kvalitu menšinové třídy a zvážit robustnou loss nebo kurátorování dat.

Související pojmy

Zdroje a redakční stopa

PyTorch, CrossEntropyLoss
scikit-learn, compute_class_weight

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.