Odborná definícia
Význam a odborné vymedzenie pojmu
Zipf's law je empirická regularita, podľa ktorej je frekvencia prvku približne nepriamo úmerná jeho poradiu v rebríčku frekvencií. V prirodzenom jazyku sa niekoľko slov objavuje veľmi často a veľké množstvo slov tvorí dlhý chvost zriedkavých položiek. V log-log zobrazení má stredná časť rozdelenia približne lineárny priebeh, hoci exponent a odchýlky závisia od korpusu, tokenizácie a jazyka. Zákon ovplyvňuje slovníky, sampling, kompresiu, vyhľadávanie aj učenie embeddingov.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Keď zoradíte slová podľa počtu výskytov, prvé slovo môže byť približne dvakrát častejšie než druhé, trikrát častejšie než tretie a tak ďalej. Nie je to presná rovnica pre každý token, ale opis veľmi nerovnomerného rozdelenia. Model vidí bežné funkčné slová miliónkrát, zatiaľ čo odborné názvy a mená iba párkrát. Preto priemernej presnosti môže dominovať hlava distribúcie, kým chyby na dlhom chvoste zostanú skryté. Tokenizácia pritom mení, čo vlastne počítame ako prvok.
Časté otázky
Otázky, ktoré spresňujú význam
Platí exponent vždy presne jedna?
Nie. Hodnota závisí od dát, rozsahu poradia a spôsobu odhadu. Zipfov zákon je približná empirická regularita.
Ako súvisí s long-tail problémom?
Veľká časť typov má málo príkladov, takže model sa učí nevyvážene a výkon na zriedkavých entitách býva slabší.
Ovplyvňuje subword tokenizácia Zipfovo rozdelenie?
Áno. Rozdelenie slov na časti znižuje počet neznámych položiek, ale vytvára nové frekvencie tokenov a mení chvost.
Prečo je dôležitý pri negative sampling?
Sampling schéma často upravuje surové frekvencie, aby najčastejšie slová neovládli tréning a zriedkavé položky dostali použiteľný signál.
Ako sa zákon testuje?
Frekvencie sa zoradia, odhadne sa mocninový exponent a porovná fit s alternatívami. Samotná priamka v log-log grafe nie je dostatočný dôkaz.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Stanford IR book, Zipf's law
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.