Odborná definícia
Odborná definícia
Uncertainty sampling je stratégia active learningu, ktorá na označenie vyberá neoznačené príklady, pri ktorých si aktuálny model najmenej verí. Neistota sa môže merať najnižšou maximálnou pravdepodobnosťou, malým rozdielom medzi dvoma najlepšími triedami, entropiou alebo nesúhlasom ensemble. Cieľom je získať čo najviac informatívnych štítkov za obmedzený rozpočet. Samotná neistota však môže uprednostniť šum, odľahlé body alebo opakované prípady, preto sa kombinuje s rozmanitosťou a kontrolou kvality. Anotátorovi sa ukladajú aj dôvody neistoty a čas označenia, aby sa odlíšil náročný prípad od chybnej taxonómie.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak odborník dokáže označiť iba sto z desaťtisíc dokumentov, náhodný výber môže minúť rozpočet na ľahké a podobné prípady. Uncertainty sampling pošle človeku texty, pri ktorých model váha medzi triedami alebo dáva rozptýlené pravdepodobnosti. Tak sa rozhodovacia hranica spresňuje rýchlejšie. Rizikom sú nezmyselné, poškodené alebo úplne nové vstupy, ktoré vyvolajú vysokú neistotu, no ich označenie nepomôže bežnej prevádzke. Výber preto potrebuje filtre a dávkovú diverzitu. Ak sa stále vyberá rovnaký typ sporných dát, je potrebné zmeniť stratégiu alebo samotnú definíciu tried.
Časté otázky
Časté otázky
Aké skóre sa používa pri binárnej klasifikácii?
Často vzdialenosť pravdepodobnosti od 0,5. Najvyššiu prioritu dostanú príklady najbližšie rozhodovaciemu prahu, ak sú skóre kalibrované alebo aspoň monotónne užitočné.
Čo je margin sampling?
Vyberá príklady s najmenším rozdielom medzi prvou a druhou najpravdepodobnejšou triedou. Je vhodný najmä pre multiclass klasifikáciu.
Prečo nestačí vybrať všetky najneistejšie body?
Môžu byť navzájom takmer rovnaké alebo tvoriť jednu anomálnu skupinu. Dávkový výber preto pridáva reprezentatívnosť, zhlukovanie alebo penalizáciu podobnosti.
Ako sa meria prínos active learningu?
Porovnáva sa learning curve výkonu voči počtu alebo cene nových štítkov s náhodným a ďalšími baseline stratégiami na pevnom testovacom súbore.
Kedy uncertainty sampling zlyháva?
Pri zle kalibrovanom modeli, extrémnom posune domény, silnom šume štítkov alebo keď neistota nekoreluje s informačnou hodnotou pre cieľovú metriku.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Active Learning Literature Survey A Survey of Active Learning for Text Classification using Deep Neural Networks
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.