Odborná definícia
Odborná definícia
Yule-Simon distribution je diskrétne pravdepodobnostné rozdelenie na kladných celých číslach s ťažkým mocninovým chvostom, parametrizované kladným parametrom rho. Vzniká v modeloch preferenčného pripájania, kde sa nové typy objavujú s určitou pravdepodobnosťou a existujúce typy získavajú ďalšie výskyty úmerne svojej doterajšej frekvencii. V NLP môže približovať nerovnomerné frekvencie slov alebo entít, v sieťach distribúciu popularity. Nie je totožné so Zipfovým zákonom a jeho vhodnosť sa musí testovať na chvoste aj voči alternatívnym rozdeleniam.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si slovník, v ktorom sa občas objaví nové slovo, ale väčšina ďalších použití pripadne výrazom, ktoré už sú časté. Bohatí tak získavajú ďalšie výskyty a vznikne niekoľko veľmi populárnych položiek spolu s množstvom zriedkavých. Yuleova-Simonova distribúcia matematicky opisuje taký mechanizmus. Pre AI je dôležitá pri analýze dlhého chvosta tokenov, používateľských požiadaviek alebo entít. Samotná podobnosť log-log grafu však nestačí, pretože viaceré mechanizmy vytvárajú podobne vyzerajúce ťažké chvosty.
Časté otázky
Časté otázky
Aké hodnoty môže premenná nadobúdať?
Kladné celé čísla, typicky počty výskytov alebo veľkosť skupiny. Parameter rho riadi rýchlosť poklesu chvosta.
Aký je vzťah k preferenčnému pripájaniu?
Rozdelenie vzniká v procesoch, kde pravdepodobnosť ďalšieho výskytu rastie s doterajšou popularitou a zároveň pribúdajú nové typy.
Je Yule-Simon to isté ako Zipfovo rozdelenie?
Nie. Sú príbuzné cez mocninové správanie, ale opisujú odlišnú veličinu a majú inú parametrizáciu aj generatívnu interpretáciu.
Ako sa overuje vhodnosť modelu?
Odhadne sa parameter, zvolí sa hranica chvosta a porovná sa goodness-of-fit s alternatívami, napríklad lognormálnym alebo zrezaným mocninovým rozdelením.
Prečo je dlhý chvost dôležitý pre NLP?
Veľká časť slov a entít má málo príkladov. Priemerná metrika môže zakryť slabý výkon práve na týchto zriedkavých položkách.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- SciPy, yulesimon distribution
- Simon, 1955
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.