Negativně vzorkování | AI slovník

Odborná definice

Negative sampling je tréninková technika, která místo vyhodnocení všech možných negativních tříd vybere malou vzorek kontrastných příkladů. Model se učí zvýšit skóre pozorovanej dvojice a snížit skóre vybraných negativních dvojic. Technika preslávila model skip-gram v word2věc, kde se cílové slovo odlišuje od náhodně vzorkovaných slov. Rozdělení negatívů výrazně ovlivňuje gradient, rychlost učení a kvalitu embeddingů. Negative sampling není totožný s vytváráním syntetických dat.

Srozumitelné vysvětlení

Při slovníku s miliónom slov by bylo drahé při každém kroku počítat skóre pro všechny nesprávně slova. Negative sampling vybere pouze několik kandidátů, které označí jako negativně, a model se na nich učí rozlišení. Pokud jsou negatívy příliš lahké, trénink přináší málo informace. Pokud se omylem vyberou skutečně související páry, model dostane chybný signál. V odporúčaniach nebo vyhledávání je proto výběr negatívů samostatnou návrhovou úlohou, ne pouze náhodným detailom.

Časté otázky

Proč negative sampling zrýchluje trénink?

Nahrazuje úplnou normalizaci přes obrovský počet tříd malým počtem binárnych porovnání. Cena jednoho kroku potom závisí na počtu vzorkovaných negatívů, ne od celého slovníka nebo katalógu.

Co je false negative?

Je to vzorkovaný negatív, který je v skutečnosti relevantní nebo pozitivní, jen nebol označený. Při odporúčaniach může uživatel produkt nevidieť, co neznamená, že ho nechce.

Jak se volí distribuce negatívů ve word2věc?

Původní přístup vzorkuje slova podle unigramovej frekvence umocnenej na 3/4. Tím omezí dominanci najčastejších slov a zároveň nezvýhodní pouze velmi vzácné výrazy.

Je hard negative mining to jisté?

Je to cielenejšia verze, která vybírá negatívy podobné pozitívom nebo ty, které model aktuálně zamieňa. Přináší silnější signál, ale může zosilnit chyby anotace a nestabilitu.

Jak se hodnotí kvalita strategie negatívů?

Porovnává se konvergence a výkon na nezávislom retrieval nebo ranking teste. Je třeba sledovat i podíl false negatives a chování při nových položkách, nejen tréninkovou ztrátu.

Související pojmy

Zdroje a redakční stopa

Distributed Representations of Words and Phrases

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.