Numerická stabilita | AI slovník

Odborná definice

Numerical stability je vlastnost algoritmu nebo implementace, při které zaokrúhlovace chyby, omezený rozsah floating-point formátu a malé poruchy vstupu nespůsobují nepřiměřeně velkou chybu výsledku. V AI se týká softmaxu, logaritmů, normalizace, maticových rozkladů, gradientů i mixed-precision tréninku. Stabilní formulace používá například log-sum-exp, odčítání maxima před exponenciací, epsilon při delení a škálování ztráty. Stabilita algoritmu se musí odlišovat od podmienenosti samotného problému.

Srozumitelné vysvětlení

Počítač neukladá reálně čísla s nekonečnou přesností. Pokud softmax přímo exponuje velmi velké logity, může vzniknout nekonečno, a pokud násobí mnoho malých pravděpodobností, výsledek může podtiecť na nulu. Matematicky ekvivalentný vzorec se proto prepisuje do bezpečnejšej podoby, například se od logitů odčíta maximum. Při tréninku se sledují Nan, Inf, rozsah aktivací a gradientů. Vyšší přesnost může pomoci, ale nezachráni špatně formulovaný nebo extrémně špatně podmíněný výpočet.

Časté otázky

Co je overflow a underflow?

Overflow nastane, když je hodnota větší než reprezentovatelný rozsah a může vzniknout Inf. Underflow nastane při velmi malé hodnote, která se zaokrúhli na nulu nebo subnormálne číslo.

Proč se při softmaxe odčíta maximum logitů?

Softmax se tím matematicky nezmění, protože společný faktor se vykráti. Největší exponent se však stane exp(0) a ostatní exponenty neprekročia jedničku, co bráni overflow.

Na co slouží epsilon v normalizaci?

Malá kladná konštanta bráni delení nulou nebo extrémně malým číslem při výpočtu štandardizace. Její hodnota může ovlivnit výsledek při nízkom rozptyle.

Co je loss scaling při mixed precision?

Ztráta se dočasne vynásobí, aby malé gradienty neunderflowovali v nízké přesnosti. Před aktualizací váh se gradienty opeť zmenšia a skontrolují na Inf nebo Nan.

Jak se liší stabilita od podmienenosti problému?

Podmienenost popisuje citlivost presného řešení na změnu vstupu. Stabilita popisuje, či numerický algoritmus přidává pouze přiměřenou chybu. Špatně podmíněný problém může zůstat citlivý i při stabilním algoritme.

Související pojmy

Zdroje a redakční stopa

Deep Learning, Numerical Computation
PyTorch, Numerical Accuracy

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.