Negative log-likelihood, definícia a použitie | AI slovník

Odborná definícia

Negative log-likelihood, skrátene NLL, je strata získaná záporným logaritmom pravdepodobnosti, ktorú model priradí pozorovaným dátam alebo správnej triede. Minimalizácia NLL je ekvivalentná maximalizácii vierohodnosti parametrov. Logaritmus prevádza súčin pravdepodobností nezávislých pozorovaní na súčet a zlepšuje numerickú stabilitu. Pri klasifikácii s kategorickým rozdelením sa NLL spája so softmaxom a vedie ku cross-entropy strate, pričom implementácia často očakáva log-probability vstupy.

Zrozumiteľné vysvetlenie

Model, ktorý správnej triede pridelí pravdepodobnosť 0,9, dostane malý trest. Ak jej pridelí 0,01, záporný logaritmus vytvorí veľký trest, pretože model bol sebavedomo nesprávny. NLL tak neposudzuje iba to, či vyhrala správna trieda, ale aj rozdelenie istoty. Pri porovnávaní treba sledovať, či je strata priemerovaná na token, príklad alebo celú sekvenciu. Hodnota závisí aj od použitého logaritmu a slovníka, preto sa nedá mechanicky porovnávať medzi odlišnými úlohami.

Časté otázky

Prečo je log-likelihood záporná?

Pravdepodobnosť je najviac jedna, takže jej prirodzený logaritmus je nulový alebo záporný. Záporné znamienko vytvorí nezápornú stratu, ktorú možno minimalizovať bežnými optimalizačnými postupmi.

Aký je vzťah NLL a cross-entropy?

Pri one-hot cieľoch a kategorickom rozdelení sú ekvivalentné. Cross-entropy implementácia často vykoná log-softmax a NLL v jednom numericky stabilnom kroku.

Čo sa stane, keď model priradí správnej udalosti nulovú pravdepodobnosť?

Logaritmus nuly smeruje k mínus nekonečnu, takže strata je nekonečná. Implementácie preto pracujú s logitmi, stabilným log-softmaxom alebo orezaním pravdepodobností.

Je nižšia NLL vždy lepšia pre používateľa?

Na rovnakom datasete znamená lepšie pravdepodobnostné prispôsobenie, no nemusí zlepšiť požadovanú obchodnú metriku, férovosť ani bezpečnosť. Rozhodovací prah a náklady chýb sa hodnotia osobitne.

Ako sa NLL používa pri jazykovom modeli?

Sčíta alebo priemeruje záporné log-pravdepodobnosti správnych ďalších tokenov. Z priemernej tokenovej NLL možno exponenciáciou odvodiť perplexitu, ak sú podmienky porovnania rovnaké.

Súvisiace pojmy

Zdroje a redakčná stopa

PyTorch, NLLLoss

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.