Odborná definícia
Odborná definícia
Softmax function prevádza vektor reálnych skóre na nezáporné hodnoty so súčtom jedna tak, že exponuje jednotlivé logity a normalizuje ich spoločným súčtom. Používa sa na vytvorenie kategóriového rozdelenia pre výber triedy alebo ďalšieho tokenu. Je invariantná voči pripočítaniu rovnakej konštanty ku všetkým logitom. Pre numerickú stabilitu sa pred exponenciáciou odčíta maximum. Výstup softmaxu nemusí byť kalibrovanou pravdepodobnosťou správnosti. Pri extrémnych logitoch sa implementácia opiera o log-sum-exp trik a stabilné dátové typy.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model môže pre tri triedy vytvoriť surové skóre 2, 1 a mínus 1. Softmax ich zmení na podiely, ktoré sa spolu rovnajú jednej, pričom vyššie skóre dostane väčší podiel. Rozdiely sa exponenciáciou zvýraznia, takže malá zmena logitu môže meniť výsledné rozdelenie. Pri jazykovom modeli sa z tohto rozdelenia vyberá ďalší token. Hodnota 0,9 však neznamená, že model bude mať pravdu v deviatich z desiatich prípadov bez samostatnej kalibrácie. Pri výbere tokenu je dôležité sledovať celé rozdelenie, nie iba meno kandidáta na prvom mieste.
Časté otázky
Časté otázky
Prečo sa pred softmaxom odčíta najväčší logit?
Odčítanie spoločnej hodnoty nemení výsledné pomery, ale zabráni pretečeniu pri exponenciácii veľkých čísel. Ide o štandardný numericky stabilný výpočet.
Aký je vzťah medzi softmaxom a cross-entropy?
Pri viac-triedovej klasifikácii sa často kombinujú. Cross-entropy penalizuje nízku pravdepodobnosť správnej triedy a gradient sa pohodlne vyjadruje cez softmaxové rozdelenie.
Čo robí teplota v softmaxe?
Logity sa pred softmaxom delia teplotou. Vyššia teplota rozdelenie sploští, nižšia ho zaostrí a zvýhodní najvyššie skóre.
Prečo softmax nie je vhodný pre nezávislé multilabel triedy?
Softmax núti triedy deliť sa o súčet jedna, akoby sa navzájom vylučovali. Pri viacerých súčasne platných štítkoch sa zvyčajne používa sigmoid pre každý štítok.
Je najvyšší softmax výstup mierou neistoty?
Je to užitočný signál, ale môže byť prehnane sebavedomý pri posune distribúcie alebo adversariálnom vstupe. Neistota vyžaduje kalibráciu a testovanie mimo tréningovej domény.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Deep Learning, Chapter 6
- PyTorch Softmax documentation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.