Odborná definícia
Význam a odborné vymedzenie pojmu
Numerical stability je vlastnosť algoritmu alebo implementácie, pri ktorej zaokrúhľovacie chyby, obmedzený rozsah floating-point formátu a malé poruchy vstupu nespôsobujú neprimerane veľkú chybu výsledku. V AI sa týka softmaxu, logaritmov, normalizácie, maticových rozkladov, gradientov aj mixed-precision tréningu. Stabilná formulácia používa napríklad log-sum-exp, odčítanie maxima pred exponenciáciou, epsilon pri delení a škálovanie straty. Stabilita algoritmu sa musí odlišovať od podmienenosti samotného problému.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Počítač neukladá reálne čísla s nekonečnou presnosťou. Ak softmax priamo exponuje veľmi veľké logity, môže vzniknúť nekonečno, a ak násobí veľa malých pravdepodobností, výsledok môže podtiecť na nulu. Matematicky ekvivalentný vzorec sa preto prepisuje do bezpečnejšej podoby, napríklad sa od logitov odčíta maximum. Pri tréningu sa sledujú NaN, Inf, rozsah aktivácií a gradientov. Vyššia presnosť môže pomôcť, ale nezachráni zle formulovaný alebo extrémne zle podmienený výpočet.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je overflow a underflow?
Overflow nastane, keď je hodnota väčšia než reprezentovateľný rozsah a môže vzniknúť Inf. Underflow nastane pri veľmi malej hodnote, ktorá sa zaokrúhli na nulu alebo subnormálne číslo.
Prečo sa pri softmaxe odčíta maximum logitov?
Softmax sa tým matematicky nezmení, pretože spoločný faktor sa vykráti. Najväčší exponent sa však stane exp(0) a ostatné exponenty neprekročia jednotku, čo bráni overflow.
Na čo slúži epsilon v normalizácii?
Malá kladná konštanta bráni deleniu nulou alebo extrémne malým číslom pri výpočte štandardizácie. Jej hodnota môže ovplyvniť výsledok pri nízkom rozptyle.
Čo je loss scaling pri mixed precision?
Strata sa dočasne vynásobí, aby malé gradienty neunderflowovali v nízkej presnosti. Pred aktualizáciou váh sa gradienty opäť zmenšia a skontrolujú na Inf alebo NaN.
Ako sa líši stabilita od podmienenosti problému?
Podmienenosť opisuje citlivosť presného riešenia na zmenu vstupu. Stabilita opisuje, či numerický algoritmus pridáva iba primeranú chybu. Zle podmienený problém môže zostať citlivý aj pri stabilnom algoritme.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Deep Learning, Numerical Computation
- PyTorch, Numerical Accuracy
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.