Odborná definice
Odborná definice
Noise contrastive estimation, zkráceně NCE, je metoda odhadu parametrů nenormalizovaného pravděpodobnostního modelu tím, že učení preformuluje na klasifikaci datových vzorků oproti vzorkám z poznaného šumového rozdělení. Model se učí rozlišovat, či pozorování pochází z dat nebo ze šumu, přičemž může současně odhadovat normalizačnou konštantu. NCE obchádza drahý součet nebo integrál přes celý prostor možností. Konzistence závisí na šumovej distribuce, pomeru šumových vzorků a správné formulace klasifikačního cíle.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Představte si jazykový model s obrovským slovníkem, při kterém je drahé přesně spočítat normalizovanou pravděpodobnost každého slova. NCE mu místo toho ukazuje skutečné dvojice a uměle vytvořené šumové dvojice. Úlohou je povedat, které vyzerají jako data. Pokud se model v této hře zlepšuje, učí se i parametry původní distribuce. Výběr šumu je kritický, příliš odlišný šum vytvoří lahkou úlohu a neprinese jemné rozlišení mezi pravdepodobnými kandidátmi.
Časté otázky
Časté otázky
Jaký problém NCE řeší?
Umožňuje trénovat modely, kterých přesná normalizace je výpočetně drahá nebo nedostupná. Místo výpočtu partition function používá diskriminačnou úlohu data verzus šum.
Čím se NCE liší od negative sampling?
Jsou příbuzné, ale NCE je formulované jako statistický odhad nenormalizovaného modelu a zahrnuje poměr datové a šumovej hustoty. Negative sampling ve word2věc je zjednodušený diskriminační cíl.
Jako vplýva počet šumových vzorků?
Více negatívů může zlepšit aproximaci a snížit varianci, ale zvyšuje cenu každého kroku. Optimálny poměr závisí na modelu, šumu a dostupného rozpočtu.
Jaká má být šumová distribuce?
Musí se z ní lahko vzorkovat a mala by přiměřeně prekrývat dátovou distribuci. Pokud je příliš jednoduchá nebo nepokrýva důležité oblasti, klasifikace neprinúti model naučit jemné rozdíly.
Je NCE stále relevantní při moderných modelech?
Ano, zejména jako princip kontrastného odhadu a při velkých výstupných priestoroch. Konkrétně implementace však často používají sampled softmax, in-batch negatives nebo jiné kontrastné cíle.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Noise-contrastive estimation: A new estimation principle
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.