Binární křížová entropie | AI slovník

Odborná definice

Binary cross-entropy je ztrátová funkce pro binární cíl, která porovnává label y v množině 0, 1 s predikovanou pravděpodobností p. Pro jeden příklad má tvar mínus y krát log p mínus (1 mínus y) krát log (1 mínus p). Silně penalizuje sebavedomé nesprávně predikce a odpovídá negativní log-likelihood Bernoulliho modelu. V implementaci se často kombinuje sigmoid a logaritmické operace do numericky stabilní funkce pracujúcej s logits. Vážená verze může měnit příspěvek tříd, ale sama neopraví chybnou kalibraci nebo zlé labely.

Srozumitelné vysvětlení

Pokud je pravdivý label 1 a model předpoví 0,9, ztráta je malá. Při predikci 0,01 je velká, protože model byl nejen nesprávný, ale i velmi presvedčený. Funkce tak učí model posúvat pravděpodobnost správným směrem. Při výpočtu se nemá nejprve zaokrúhlit na 0 nebo 1, lebo by se stratila informace o istote. Praktické knižnice používají logits, tedy hodnotu před sigmoidom, aby se vyhli logaritmu nuly a pretečení. Při nevyvážených třídách je třeba váhy volit podle cíle, ne pouze podle pomeru počtů.

Časté otázky

Jaký je rozdíl mezi BCE a categorical cross-entropy?

BCE se používá pro binární nebo multi-label cíl, kde jsou labely nezávislé Bernoulliho proměnné. Categorical cross-entropy se používá při jedné třídě z více vzájomne se vylučujúcich možností a typicky pracuje se softmaxom.

Proč je vhodné používat Bcewithlogitsloss?

Spojuje sigmoid a logaritmické členy do jednoho stabilného výpočtu. Snižuje riziko overflow, underflow a logaritmu hodnoty velmi blízkej nule. Model má proto vracet logits, ne už aplikovaný sigmoid, pokud to API očekává.

Co dělá positive class weight?

Zvýší příspěvek pozitivních příkladů k strate, takže model je více penalizovaný za jejich nesprávně hodnocení. Může zvýšit recall, ale změnit kalibraci a precision. Váha má vycházet z cíle a validačních výsledků.

Je nízká BCE zárukou dobrého rozhodovacího prahu?

Ne. BCE hodnotí pravděpodobnostní predikce napříč rozsahem. Provozní práh se volí zvlášť podle nákladů a kapacity. Dva modely s podobnou ztrátou mohou mít odlišné chování při konkrétním prahu.

Jako BCE reaguje na chybný label?

Sebavedomá predikce, která je v skutečnosti správná, ale label je chybný, dostane velmi velkou penalizaci. Šum labelů proto může výrazně ovlivnit trénink. Pomáhá audit anotací, robustnejšie postupy a kontrola extrémnych strát.

Související pojmy

Zdroje a redakční stopa

Google, Text Classification Guide, binary classification and binary cross-entropy
Google Machine Learning Glossary

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.