Odborná definícia
Odborná definícia
Hard negative mining je proces, pri ktorom sa z veľkej množiny negatívnych kandidátov cielene vyberajú tie, ktoré aktuálny model zamieňa s pozitívnymi alebo im priraďuje vysokú podobnosť. Výber môže prebiehať v rámci minibatchu, z priebežne obnovovaného indexu, pomocou staršej verzie modelu alebo kombináciou viacerých retrieverov. Cieľom je sústrediť učenie na rozhodovaciu hranicu a zvýšiť diskriminačnú schopnosť. Príliš agresívne dolovanie môže zosilniť chyby anotácie, opakovane vyberať rovnaké prípady, znížiť rozmanitosť a destabilizovať tréning.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Namiesto toho, aby tréner dával modelu stále náhodné a očividne nesprávne možnosti, nechá ho prehľadať databázu a zozbiera odpovede, pri ktorých si bol nesprávne najistejší. Tie sa vrátia do ďalšieho kola učenia. Vyhľadávač sa tak zameria na dokumenty s rovnakým názvom produktu, ale inou verziou, alebo na podobné právne ustanovenie z nesprávneho predpisu. Postup je účinný, no model môže vyťahovať aj legitímne alternatívne odpovede. Bez kontroly labelov by ich potrestal a zhoršil recall presne tam, kde je realita nejednoznačná.
Časté otázky
Časté otázky
Kedy sa hard negative mining vykonáva?
Môže sa robiť pred tréningom pomocou existujúceho retrievera, periodicky medzi epochami alebo online v každom batchi. Častejšia obnova lepšie sleduje aktuálny model, ale zvyšuje výpočtové a infraštruktúrne náklady.
Čo je in-batch negative mining?
Pozitívne položky ostatných dvojíc v minibatchi sa používajú ako negatívy pre daný dotaz. Metóda je lacná a škáluje s veľkosťou batchu, no môže vytvárať false negatives, ak sa témy alebo správne odpovede prekrývajú.
Ako sa zabráni opakovaniu rovnakých náročných príkladov?
Používa sa náhodný výber z pásma skóre, kvóty podľa kategórií, deduplikácia a kombinácia náročných, stredných aj náhodných negatívov. Diverzita chráni model pred úzkym prispôsobením jednej skupine chýb.
Prečo môže dolovanie zhoršiť tréning?
Ak model na začiatku používa slabé reprezentácie, jeho najbližší susedia nemusia byť informatívni. Chybné labely dostanú vysokú váhu a gradienty sa sústredia na sporné prípady, čo môže viesť k nestabilite alebo kolapsu.
Ako sa hodnotí prínos hard negative mining?
Porovnáva sa retrieval recall, rankingová presnosť a výkon na ťažkých testovacích skupinách proti rovnakému tréningu s náhodnými negatívmi. Súčasne sa sleduje podiel false negatives a náklady na obnovu indexu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Xuan a kol., Hard Negative Examples are Hard, but Useful (ecva.net) Kalantidis a kol., Hard Negative Mixing (papers.neurips.cc)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.