Non-determinism, definícia a použitie | AI slovník

Odborná definícia

Non-determinism v strojovom učení znamená, že rovnaký kód a zdanlivo rovnaké vstupy nemusia pri opakovanom behu vytvoriť bitovo totožný výsledok. Príčinou môže byť náhodná inicializácia, miešanie dát, dropout, paralelné poradie operácií, atomické GPU operácie, rozdielne knižnice, hardvér alebo optimalizované jadrá. Nastavenie seed kontroluje iba niektoré zdroje náhodnosti. Reprodukovateľný experiment vyžaduje zaznamenať prostredie a podľa potreby vynútiť deterministické algoritmy za cenu výkonu.

Zrozumiteľné vysvetlenie

Dva tréningy s rovnakým datasetom môžu skončiť s mierne odlišnými váhami, pretože paralelné výpočty sčítajú čísla v inom poradí a zaokrúhľovacia chyba sa postupne zväčší. Pri generovaní sa navyše môže zámerne vzorkovať. Seed pomáha zopakovať pseudonáhodné voľby, ale nezaručí rovnaký výsledok medzi iným GPU, verziou CUDA alebo knižnicou. Pri audite treba rozlišovať presnú reprodukciu bitov, štatisticky podobný výkon a stabilné rozhodnutie pre konkrétny vstup.

Časté otázky

Stačí nastaviť random seed?

Nie. Seed musí byť nastavený vo všetkých použitých generátoroch a niektoré GPU operácie zostávajú nedeterministické. Rozdiel môže vytvoriť aj verzia ovládača, knižnice alebo počet vlákien.

Prečo floating-point sčítanie závisí od poradia?

Konečná presnosť spôsobuje zaokrúhľovanie a asociatívny zákon neplatí bitovo. Paralelné redukcie môžu meniť poradie súčtov, takže výsledok sa líši o malé hodnoty.

Čo znamená deterministický algoritmus v PyTorch?

Framework použije operácie, ktoré majú pre rovnaký vstup a prostredie reprodukovateľný výsledok, alebo vyhodí chybu, ak deterministická implementácia nie je dostupná. Môže to spomaliť výpočet.

Ako sa má reportovať experiment s nedeterministickým tréningom?

Treba uviesť viac behov, priemer, rozptyl alebo interval, seed, verzie prostredia a pravidlo výberu checkpointu. Jediný najlepší beh môže vytvoriť skreslený obraz.

Je nedeterministický výstup vždy nežiaduci?

Nie. Vzorkovanie môže byť zámerné pri generovaní alebo explorácii. Nežiaduce je vtedy, keď znemožňuje audit, testovanie regresií alebo konzistentné rozhodovanie v citlivom procese.

Súvisiace pojmy

Zdroje a redakčná stopa

PyTorch, Reproducibility

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.