Odborná definice
Význam a odborné vymezení pojmu
Zipf's law je empirická regularita, podle které je frekvence prvku přibližně nepřímo úměrná jeho pořadí v žebříčku frekvencí. V přirozeném jazyku se několik slov objevuje velmi často a velké množství slov tvoří dlouhý ocas vzácných položek. V log-log zobrazení má střední část rozdělení přibližně lineární průběh, ačkoli exponent a odchylky závisí na korpusu, tokenizace a jazyka. Zákon ovlivňuje slovníky, sampling, kompresi, vyhledávání i učení embeddingů.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Když seřadíte slova podle počtu výskytů, první slovo může být přibližně dvakrát častěji než druhé, třikrát častěji než třetí a tak dále. Není to přesná rovnica pro každý token, ale popis velmi nerovnoměrného rozdělení. Model vidí běžné funkční slova milionkrát, zatímco odborné názvy a jména pouze párkrát. Proto průměrné přesnosti může dominovat hlava distribuce, zatímco chyby na dlouhém chvoste zůstanou skryté. Tokenizace přitom mění, co vlastně počítáme jako prvek.
Časté otázky
Otázky, které upřesňují význam
Platí exponent vždy přesně jedna?
Ne. Hodnota závisí na dat, rozsahu pořadí a způsobu odhadu. Zipfů zákon je približná empirická regularita.
Jako souvisí s long-tail problémem?
Velká část typů má málo příkladů, takže model se učí nevyvážene a výkon na vzácných entitách bývá slabší.
Ovlivňuje subword tokenizace Zipfovo rozdělení?
Ano. Rozdělení slov na části snižuje počet neznámých položek, ale vytváří nové frekvence tokenů a mění ocas.
Proč je důležitý při negative sampling?
Sampling schéma často upravuje surová frekvence, aby nejčastěji slova neovládli trénink a vzácné položky dostali použitelný signál.
Jak se zákon testuje?
Frekvence se zoradia, odhadne se mocninový exponent a porovná fit s alternatívami. Samotná priamka v log-log grafu není dostatečný důkaz.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- Stanford IR book, Zipf's law
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.