Odborná definícia
Odborná definícia
Noise contrastive estimation, skrátene NCE, je metóda odhadu parametrov nenormalizovaného pravdepodobnostného modelu tým, že učenie preformuluje na klasifikáciu dátových vzoriek oproti vzorkám z poznaného šumového rozdelenia. Model sa učí rozlišovať, či pozorovanie pochádza z dát alebo zo šumu, pričom môže súčasne odhadovať normalizačnú konštantu. NCE obchádza drahý súčet alebo integrál cez celý priestor možností. Konzistencia závisí od šumovej distribúcie, pomeru šumových vzoriek a správnej formulácie klasifikačného cieľa.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si jazykový model s obrovským slovníkom, pri ktorom je drahé presne spočítať normalizovanú pravdepodobnosť každého slova. NCE mu namiesto toho ukazuje skutočné dvojice a umelo vytvorené šumové dvojice. Úlohou je povedať, ktoré vyzerajú ako dáta. Ak sa model v tejto hre zlepšuje, učí sa aj parametre pôvodnej distribúcie. Výber šumu je kritický, príliš odlišný šum vytvorí ľahkú úlohu a neprinesie jemné rozlíšenie medzi pravdepodobnými kandidátmi.
Časté otázky
Časté otázky
Aký problém NCE rieši?
Umožňuje trénovať modely, ktorých presná normalizácia je výpočtovo drahá alebo nedostupná. Namiesto výpočtu partition function používa diskriminačnú úlohu dáta verzus šum.
Čím sa NCE líši od negative sampling?
Sú príbuzné, ale NCE je formulované ako štatistický odhad nenormalizovaného modelu a zahŕňa pomer dátovej a šumovej hustoty. Negative sampling vo word2vec je zjednodušený diskriminačný cieľ.
Ako vplýva počet šumových vzoriek?
Viac negatívov môže zlepšiť aproximáciu a znížiť varianciu, ale zvyšuje cenu každého kroku. Optimálny pomer závisí od modelu, šumu a dostupného rozpočtu.
Aká má byť šumová distribúcia?
Musí sa z nej ľahko vzorkovať a mala by primerane prekrývať dátovú distribúciu. Ak je príliš jednoduchá alebo nepokrýva dôležité oblasti, klasifikácia neprinúti model naučiť jemné rozdiely.
Je NCE stále relevantné pri moderných modeloch?
Áno, najmä ako princíp kontrastného odhadu a pri veľkých výstupných priestoroch. Konkrétne implementácie však často používajú sampled softmax, in-batch negatives alebo iné kontrastné ciele.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Noise-contrastive estimation: A new estimation principle
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.