Perplexita jazykového modelu | AI slovník

Odborná definice

Perplexity je exponenciál průměrné zápornej logaritmickej pravděpodobnosti, kterou jazykový model přiřadí správné sekvenci tokenů. Lze ji interpretovat jako efektivní počet stejně pravdepodobných možností, mezi kterými model při predikci váha. Nižší hodnota na stejném datasete, s stejnou tokenizací a stejným způsobem výpočtu znamená lépe přiřazení pravděpodobnosti referenčnímu textu. Perplexita není přímo porovnatelná mezi odlišnými tokenizérmi a sama nemeria faktičnost, bezpečnost, užitečnost ani kvalitu dlhého generovaného výstupu.

Srozumitelné vysvětlení

Pokud model při každém kroku rozděluje pravděpodobnost mezi mnoho možných tokenů a správnemu dává nízkou váhu, perplexita roste. Model s nižší hodnotou lépe predvída text daného korpusu, ale může stále halucinovat odpovědi nebo produkovat nevhodný styl. Slovenský model s jemnejšou tokenizací může mít jinou perplexitu než model, který slova dělí na déle části, proto samotné čísla nelze bez podmínek postavit vedla sebe. Při praxi se kombinuje s úlohovými metrikami, ludským hodnotením a bezpečnostními testy.

Časté otázky

Je nižší perplexita vždy lepší?

Na stejném testovacom korpuse a při stejném výpočtu znamená lépe pravděpodobnostní přizpůsobení. Nemusí však zlepšit přesnost odpovědí, schopnost používat nástroje ani odolnost vůči prompt injection.

Proč tokenizace mění perplexitu?

Metrika se počítá po tokenech. Tokenizér, který rozdělí stejný text jiným způsobem, vytvoří jinou délku sekvence a jinou množinu pravděpodobností, takže čísla nejsou automaticky srovnatelné.

Jako souvisí perplexita s cross-entropy?

Při přirozeném logaritme je perplexita exponenciál průměrné cross-entropy na token. Jde tedy o monotónnu transformaci té určité pravdepodobnostnej chyby.

Lze perplexita použít při maskovanom jazykovém modeli?

Ne přímo stejným autoregresívnym způsobem, protože model nepredikuje každý token pouze z předchozího kontextu. Používají se aproximace, například pseudo-perplexity.

Co může skreslit produkční sledování perplexity?

Změna domény, jazyka, tokenizéra, délky kontextu nebo způsobu orezání. Produkční text navíc nemusí mít správný referenční další token, proto se metrika často počítá na kurátorovanom datasete.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, Perplexity
Hugging Face, Perplexity of fixed-length models

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.