Zipfů zákon frekvence slov | AI slovník

Odborná definice

Zipf's law je empirická regularita, podle které je frekvence prvku přibližně nepřímo úměrná jeho pořadí v žebříčku frekvencí. V přirozeném jazyku se několik slov objevuje velmi často a velké množství slov tvoří dlouhý ocas vzácných položek. V log-log zobrazení má střední část rozdělení přibližně lineární průběh, ačkoli exponent a odchylky závisí na korpusu, tokenizace a jazyka. Zákon ovlivňuje slovníky, sampling, kompresi, vyhledávání i učení embeddingů.

Srozumitelné vysvětlení

Když seřadíte slova podle počtu výskytů, první slovo může být přibližně dvakrát častěji než druhé, třikrát častěji než třetí a tak dále. Není to přesná rovnica pro každý token, ale popis velmi nerovnoměrného rozdělení. Model vidí běžné funkční slova milionkrát, zatímco odborné názvy a jména pouze párkrát. Proto průměrné přesnosti může dominovat hlava distribuce, zatímco chyby na dlouhém chvoste zůstanou skryté. Tokenizace přitom mění, co vlastně počítáme jako prvek.

Časté otázky

Platí exponent vždy přesně jedna?

Ne. Hodnota závisí na dat, rozsahu pořadí a způsobu odhadu. Zipfů zákon je približná empirická regularita.

Jako souvisí s long-tail problémem?

Velká část typů má málo příkladů, takže model se učí nevyvážene a výkon na vzácných entitách bývá slabší.

Ovlivňuje subword tokenizace Zipfovo rozdělení?

Ano. Rozdělení slov na části snižuje počet neznámých položek, ale vytváří nové frekvence tokenů a mění ocas.

Proč je důležitý při negative sampling?

Sampling schéma často upravuje surová frekvence, aby nejčastěji slova neovládli trénink a vzácné položky dostali použitelný signál.

Jak se zákon testuje?

Frekvence se zoradia, odhadne se mocninový exponent a porovná fit s alternatívami. Samotná priamka v log-log grafu není dostatečný důkaz.

Související pojmy

Zdroje a redakční stopa

Stanford IR book, Zipf's law

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.