Logit nebo nezpracované třídní skóre | AI slovník

Odborná definice

Logit je nezpracované reálně skóre klasifikačního modelu před normalizací na pravděpodobnost. V binárnom případě může představovat logaritmus pomeru šancí p ku jedné mínus p a sigmoid ho převede na interval od nuly do jedné. Při multiclass klasifikaci softmax transformuje vektor logitů na distribuci, přičemž pridáním stejné konštanty ku všem logitom se pravděpodobnosti nezmění. Logit není percento ani kalibrovaná důvěra a jeho absolutní velikost závisí na modelu a teploty.

Srozumitelné vysvětlení

Model může pro tri třídy vyprodukovat skóre 2,1, 0,4 a mínus 1,3. Jsou to logity. Až softmax z nich vytvoří pravděpodobnosti, které se sčítají na jedna. Důležitý je zejména rozdíl mezi skóre tříd, ne jejich společný posun. Logit s hodnotou 5 proto nelze číst jako 500 procent istoty. Při temperature scaling se stejné logity vydelia teplotou, čím se rozdělení zjemní nebo zostri. Při tréninku se cross-entropy obvykle počítá přímo z logitů kvůli stabilite.

Časté otázky

Jak se logit mění na binárnu pravděpodobnost?

Sigmoid vypočítá p rovné jedna dělené jedna plus exp mínus logit. Nulový logit odpovídá pravděpodobnosti 0,5.

Proč softmax nepotřebuje absolutní úroveň logitů?

Pravděpodobnosti závisí na relatívnych rozdílů. Stejný posun všech komponentů se v čitateli i menovateli vyruší.

Může být logit záporný?

Ano. Logity mohou nadobúdat lubovolné reálně hodnoty. Záporné číslo samo sám o sobě neznamená nulovou pravděpodobnost.

Proč se loss počítá z logitů a ne z už zaokrúhlených pravděpodobností?

Knižnice kombinují log-softmax s cross-entropy numericky stabilným způsobem. Zaokrúhlení by stratilo gradient i informaci o sebaistote.

Je nejvyšší logit vždy spolehlivá třída?

Určuje argmax, ale ne správnost ani kalibraci. Při posune distribuce může být nejvyšší skóre stále velmi nespolahlivé.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, logit

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.