Odborná definícia
Význam a odborné vymedzenie pojmu
Logit je nespracované reálne skóre klasifikačného modelu pred normalizáciou na pravdepodobnosť. V binárnom prípade môže predstavovať logaritmus pomeru šancí p ku jednej mínus p a sigmoid ho prevedie na interval od nuly do jednej. Pri multiclass klasifikácii softmax transformuje vektor logitov na distribúciu, pričom pridaním rovnakej konštanty ku všetkým logitom sa pravdepodobnosti nezmenia. Logit nie je percento ani kalibrovaná dôvera a jeho absolútna veľkosť závisí od modelu a teploty.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model môže pre tri triedy vyprodukovať skóre 2,1, 0,4 a mínus 1,3. Sú to logity. Až softmax z nich vytvorí pravdepodobnosti, ktoré sa sčítajú na jedna. Dôležitý je najmä rozdiel medzi skóre tried, nie ich spoločný posun. Logit s hodnotou 5 preto nemožno čítať ako 500 percent istoty. Pri temperature scaling sa rovnaké logity vydelia teplotou, čím sa rozdelenie zjemní alebo zostri. Pri tréningu sa cross-entropy zvyčajne počíta priamo z logitov kvôli stabilite.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa logit mení na binárnu pravdepodobnosť?
Sigmoid vypočíta p rovné jedna delené jedna plus exp mínus logit. Nulový logit zodpovedá pravdepodobnosti 0,5.
Prečo softmax nepotrebuje absolútnu úroveň logitov?
Pravdepodobnosti závisia od relatívnych rozdielov. Rovnaký posun všetkých komponentov sa v čitateli aj menovateli vyruší.
Môže byť logit záporný?
Áno. Logity môžu nadobúdať ľubovoľné reálne hodnoty. Záporné číslo samo osebe neznamená nulovú pravdepodobnosť.
Prečo sa loss počíta z logitov a nie z už zaokrúhlených pravdepodobností?
Knižnice kombinujú log-softmax s cross-entropy numericky stabilným spôsobom. Zaokrúhlenie by stratilo gradient aj informáciu o sebaistote.
Je najvyšší logit vždy spoľahlivá trieda?
Určuje argmax, ale nie správnosť ani kalibráciu. Pri posune distribúcie môže byť najvyššie skóre stále veľmi nespoľahlivé.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, logit
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.