Odborná definícia
Význam a odborné vymedzenie pojmu
Perplexity je exponenciál priemernej zápornej logaritmickej pravdepodobnosti, ktorú jazykový model priradí správnej sekvencii tokenov. Možno ju interpretovať ako efektívny počet rovnako pravdepodobných možností, medzi ktorými model pri predikcii váha. Nižšia hodnota na rovnakom datasete, s rovnakou tokenizáciou a rovnakým spôsobom výpočtu znamená lepšie priradenie pravdepodobnosti referenčnému textu. Perplexita nie je priamo porovnateľná medzi odlišnými tokenizérmi a sama nemeria faktickosť, bezpečnosť, užitočnosť ani kvalitu dlhého generovaného výstupu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak model pri každom kroku rozdeľuje pravdepodobnosť medzi veľa možných tokenov a správnemu dáva nízku váhu, perplexita rastie. Model s nižšou hodnotou lepšie predvída text daného korpusu, ale môže stále halucinovať odpovede alebo produkovať nevhodný štýl. Slovenský model s jemnejšou tokenizáciou môže mať inú perplexitu než model, ktorý slová delí na dlhšie časti, preto samotné čísla nemožno bez podmienok postaviť vedľa seba. Pri praxi sa kombinuje s úlohovými metrikami, ľudským hodnotením a bezpečnostnými testami.
Časté otázky
Otázky, ktoré spresňujú význam
Je nižšia perplexita vždy lepšia?
Na rovnakom testovacom korpuse a pri rovnakom výpočte znamená lepšie pravdepodobnostné prispôsobenie. Nemusí však zlepšiť presnosť odpovedí, schopnosť používať nástroje ani odolnosť voči prompt injection.
Prečo tokenizácia mení perplexitu?
Metrika sa počíta po tokenoch. Tokenizér, ktorý rozdelí rovnaký text iným spôsobom, vytvorí inú dĺžku sekvencie a inú množinu pravdepodobností, takže čísla nie sú automaticky porovnateľné.
Ako súvisí perplexita s cross-entropy?
Pri prirodzenom logaritme je perplexita exponenciál priemernej cross-entropy na token. Ide teda o monotónnu transformáciu tej istej pravdepodobnostnej chyby.
Dá sa perplexita použiť pri maskovanom jazykovom modeli?
Nie priamo rovnakým autoregresívnym spôsobom, pretože model nepredikuje každý token iba z predchádzajúceho kontextu. Používajú sa aproximácie, napríklad pseudo-perplexity.
Čo môže skresliť produkčné sledovanie perplexity?
Zmena domény, jazyka, tokenizéra, dĺžky kontextu alebo spôsobu orezania. Produkčný text navyše nemusí mať správny referenčný ďalší token, preto sa metrika často počíta na kurátorovanom datasete.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, Perplexity
- Hugging Face, Perplexity of fixed-length models
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.