Negativní logaritmická vierohodnost | AI slovník

Odborná definice

Negative log-likelihood, zkráceně NLL, je ztráta získaná záporným logaritmom pravděpodobnosti, kterou model přiřadí pozorovaným datům nebo správné třídě. Minimalizace NLL je ekvivalentná maximalizaci vierohodnosti parametrů. Logaritmus převádí součin pravděpodobností nezávislých pozorování na součet a zlepšuje numerickou stabilitu. Při klasifikaci s kategorickým rozdělením se NLL spojuje se softmaxom a vede ku cross-entropy strate, přičemž implementace často očekává log-probability vstupy.

Srozumitelné vysvětlení

Model, který správné třídě pridelí pravděpodobnost 0,9, dostane malý trest. Pokud její pridelí 0,01, záporný logaritmus vytvoří velký trest, protože model byl sebavedomo nesprávný. NLL tak neposudzuje pouze to, či vyhrála správná třída, ale i rozdělení istoty. Při porovnávání je třeba sledovat, zda je ztráta priemerovaná na token, příklad nebo celou sekvenci. Hodnota závisí i od použitého logaritmu a slovníka, proto se nedá mechanicky porovnávat mezi odlišnými úlohami.

Časté otázky

Proč je log-likelihood záporná?

Pravděpodobnost je nejvíce jedna, takže její přirozený logaritmus je nulový nebo záporný. Záporné znaménko vytvoří nezápornou ztrátu, kterou lze minimalizovat bežnými optimalizačnými postupmi.

Jaký je vztah NLL a cross-entropy?

Při one-hot cieloch a kategorickom rozdělení jsou ekvivalentné. Cross-entropy implementace často provede log-softmax a NLL v jednom numericky stabilním kroku.

Co se stane, když model přiřadí správné události nulovou pravděpodobnost?

Logaritmus nuly směřuje k mínus nekonečnu, takže ztráta je nekonečná. Implementace proto pracují s logitmi, stabilným log-softmaxom nebo orezáním pravděpodobností.

Je nižší NLL vždy lepší pro uživatele?

Na stejném datasete znamená lépe pravděpodobnostní přizpůsobení, ale nemusí zlepšit požadovanou obchodnou metriku, férovost ani bezpečnost. Rozhodovací práh a náklady chyb se hodnotí zvlášť.

Jak se NLL používá při jazykovém modeli?

Sčíta nebo priemeruje záporné log-pravděpodobnosti správných dalších tokenů. Z průměrné tokenovej NLL lze exponenciací odvodit perplexitu, pokud jsou podmínky porovnání stejné.

Související pojmy

Zdroje a redakční stopa

PyTorch, NLLLoss

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.