Odborná definícia
Význam a odborné vymedzenie pojmu
Negative sampling je tréningová technika, ktorá namiesto vyhodnotenia všetkých možných negatívnych tried vyberie malú vzorku kontrastných príkladov. Model sa učí zvýšiť skóre pozorovanej dvojice a znížiť skóre vybraných negatívnych dvojíc. Technika preslávila model skip-gram v word2vec, kde sa cieľové slovo odlišuje od náhodne vzorkovaných slov. Rozdelenie negatívov výrazne ovplyvňuje gradient, rýchlosť učenia a kvalitu embeddingov. Negative sampling nie je totožný s vytváraním syntetických dát.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri slovníku s miliónom slov by bolo drahé pri každom kroku počítať skóre pre všetky nesprávne slová. Negative sampling vyberie iba niekoľko kandidátov, ktoré označí ako negatívne, a model sa na nich učí rozlíšenie. Ak sú negatívy príliš ľahké, tréning prináša málo informácie. Ak sa omylom vyberú skutočne súvisiace páry, model dostane chybný signál. V odporúčaniach alebo vyhľadávaní je preto výber negatívov samostatnou návrhovou úlohou, nie iba náhodným detailom.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo negative sampling zrýchľuje tréning?
Nahrádza úplnú normalizáciu cez obrovský počet tried malým počtom binárnych porovnaní. Cena jedného kroku potom závisí od počtu vzorkovaných negatívov, nie od celého slovníka alebo katalógu.
Čo je false negative?
Je to vzorkovaný negatív, ktorý je v skutočnosti relevantný alebo pozitívny, len nebol označený. Pri odporúčaniach môže používateľ produkt nevidieť, čo neznamená, že ho nechce.
Ako sa volí distribúcia negatívov vo word2vec?
Pôvodný prístup vzorkuje slová podľa unigramovej frekvencie umocnenej na 3/4. Tým obmedzí dominanciu najčastejších slov a zároveň nezvýhodní iba veľmi zriedkavé výrazy.
Je hard negative mining to isté?
Je to cielenejšia verzia, ktorá vyberá negatívy podobné pozitívom alebo tie, ktoré model aktuálne zamieňa. Prináša silnejší signál, ale môže zosilniť chyby anotácie a nestabilitu.
Ako sa hodnotí kvalita stratégie negatívov?
Porovnáva sa konvergencia a výkon na nezávislom retrieval alebo ranking teste. Treba sledovať aj podiel false negatives a správanie pri nových položkách, nielen tréningovú stratu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Distributed Representations of Words and Phrases
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.