Softmax function | AI slovník

Odborná definice

Softmax function převádí vektor reálných skóre na nezáporné hodnoty se součtem jedna tak, že exponuje jednotlivé logity a normalizuje jejich spoločným součtem. Používá se na vytvoření kategóriového rozdělení pro výběr třídy nebo dalšího tokenu. Je invariantná vůči pripočítání stejné konštanty ku všem logitom. Pro numerickou stabilitu se před exponenciací odčíta maximum. Výstup softmaxu nemusí být kalibrovanou pravděpodobností správnosti. Při extrémnych logitoch se implementace opiera o log-sum-exp trik a stabilní datové typy.

Srozumitelné vysvětlení

Model může pro tri třídy vytvořit surová skóre 2, 1 a mínus 1. Softmax jejich změní na podiely, které se spolu rovnají jedné, přičemž vyšší skóre dostane větší podíl. Rozdíly se exponenciací zvýraznia, takže malá změna logitu může měnit výsledné rozdělení. Při jazykovém modeli se z tohoto rozdělení vybírá další token. Hodnota 0,9 však neznamená, že model bude mít pravdu v deviatich z desiatich případů bez samostatné kalibrace. Při výběru tokenu je důležité sledovat celé rozdělení, ne pouze jméno kandidáta na prvním mieste.

Časté otázky

Proč se před softmaxom odčíta největší logit?

Odčítání společné hodnoty nemění výsledné pomery, ale zabrání pretečení při exponenciaci velkých čísel. Jde o štandardný numericky stabilní výpočet.

Jaký je vztah mezi softmaxom a cross-entropy?

Při více-triedovej klasifikaci se často kombinují. Cross-entropy penalizuje nízkou pravděpodobnost správné třídy a gradient se pohodlne vyjadřuje přes softmaxové rozdělení.

Co dělá teplota v softmaxe?

Logity se před softmaxom dělí teplotou. Vyšší teplota rozdělení sploští, nižší ho zaostrí a zvýhodní nejvyšší skóre.

Proč softmax není vhodný pro nezávislé multilabel třídy?

Softmax núti třídy deliť se o součet jedna, akoby se navzájem vylučovali. Při více současně platných štítcích se obvykle používá sigmoid pro každý štítek.

Je nejvyšší softmax výstup mírou nejistoty?

Je to užitečný signál, ale může být prehnane sebavedomý při posune distribuce nebo adversariálním vstupe. Nejistota vyžaduje kalibraci a testování mimo tréninkové domény.

Související pojmy

Zdroje a redakční stopa

Deep Learning, Chapter 6
PyTorch Softmax documentation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.