Binary cross-entropy, definícia a použitie | AI slovník

Odborná definícia

Binary cross-entropy je stratová funkcia pre binárny cieľ, ktorá porovnáva label y v množine 0, 1 s predikovanou pravdepodobnosťou p. Pre jeden príklad má tvar mínus y krát log p mínus (1 mínus y) krát log (1 mínus p). Silno penalizuje sebavedomé nesprávne predikcie a zodpovedá negatívnej log-likelihood Bernoulliho modelu. V implementácii sa často kombinuje sigmoid a logaritmické operácie do numericky stabilnej funkcie pracujúcej s logits. Vážená verzia môže meniť príspevok tried, ale sama neopraví chybnú kalibráciu alebo zlé labely.

Zrozumiteľné vysvetlenie

Ak je pravdivý label 1 a model predpovie 0,9, strata je malá. Pri predikcii 0,01 je veľká, pretože model bol nielen nesprávny, ale aj veľmi presvedčený. Funkcia tak učí model posúvať pravdepodobnosť správnym smerom. Pri výpočte sa nemá najprv zaokrúhliť na 0 alebo 1, lebo by sa stratila informácia o istote. Praktické knižnice používajú logits, teda hodnotu pred sigmoidom, aby sa vyhli logaritmu nuly a pretečeniu. Pri nevyvážených triedach treba váhy voliť podľa cieľa, nie iba podľa pomeru počtov.

Časté otázky

Aký je rozdiel medzi BCE a categorical cross-entropy?

BCE sa používa pre binárny alebo multi-label cieľ, kde sú labely nezávislé Bernoulliho premenné. Categorical cross-entropy sa používa pri jednej triede z viacerých vzájomne sa vylučujúcich možností a typicky pracuje so softmaxom.

Prečo je vhodné používať BCEWithLogitsLoss?

Spája sigmoid a logaritmické členy do jedného stabilného výpočtu. Znižuje riziko overflow, underflow a logaritmu hodnoty veľmi blízkej nule. Model má preto vracať logits, nie už aplikovaný sigmoid, ak to API očakáva.

Čo robí positive class weight?

Zvýši príspevok pozitívnych príkladov k strate, takže model je viac penalizovaný za ich nesprávne hodnotenie. Môže zvýšiť recall, ale zmeniť kalibráciu a precision. Váha má vychádzať z cieľa a validačných výsledkov.

Je nízka BCE zárukou dobrého rozhodovacieho prahu?

Nie. BCE hodnotí pravdepodobnostné predikcie naprieč rozsahom. Prevádzkový prah sa volí osobitne podľa nákladov a kapacity. Dva modely s podobnou stratou môžu mať odlišné správanie pri konkrétnom prahu.

Ako BCE reaguje na chybný label?

Sebavedomá predikcia, ktorá je v skutočnosti správna, ale label je chybný, dostane veľmi veľkú penalizáciu. Šum labelov preto môže výrazne ovplyvniť tréning. Pomáha audit anotácií, robustnejšie postupy a kontrola extrémnych strát.

Súvisiace pojmy

Zdroje a redakčná stopa

Google, Text Classification Guide, binary classification and binary cross-entropy
Google Machine Learning Glossary

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.