Odborná definícia
Význam a odborné vymedzenie pojmu
Nucleus sampling, nazývané aj top-p sampling, je dekódovacia stratégia, ktorá pri každom kroku zoradí tokeny podľa pravdepodobnosti a vytvorí najmenšiu množinu, ktorej kumulatívna pravdepodobnosť dosiahne prah p. Nasledujúci token sa vzorkuje iba z tejto dynamickej množiny po renormalizácii. Na rozdiel od top-k sa počet povolených tokenov mení podľa tvaru distribúcie. Metóda obmedzuje veľmi nepravdepodobné pokračovania, ale nezaručuje faktickosť, bezpečnosť ani globálnu konzistenciu textu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Keď je ďalšie slovo takmer jednoznačné, jadro môže obsahovať iba niekoľko kandidátov. Pri otvorenej tvorivej vete sa do rovnakého prahu zmestí oveľa viac možností. Top-p preto prispôsobuje šírku výberu tomu, ako neistý je model v konkrétnom kroku. Nižšie p vytvára konzervatívnejší text, vyššie p zvyšuje rozmanitosť aj riziko odbočenia. Výsledok ovplyvňuje aj teplota, opakovacie penalizácie, prompt a seed, takže p sa nemá hodnotiť izolovane.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa top-p líši od top-k?
Top-k vždy ponechá pevný počet tokenov. Top-p ponechá premenlivý počet tokenov tak, aby ich súčet pravdepodobností dosiahol zadaný prah.
Čo znamená p = 0,9?
Model vyberie najpravdepodobnejšie tokeny, ktorých kumulatívna hmotnosť je aspoň 0,9, a z tejto množiny vzorkuje. Neznamená to 90 percentnú pravdepodobnosť správnosti odpovede.
Ako spolu súvisia top-p a temperature?
Temperature najprv mení ostrosť celej distribúcie, top-p potom odreže jej chvost. Rovnaké p preto vytvorí inú množinu kandidátov pri odlišnej teplote.
Je nucleus sampling vhodné pre deterministickú extrakciu?
Zvyčajne nie. Pri extrakcii do schémy je vhodnejšie greedy dekódovanie, veľmi nízka náhodnosť alebo constrained decoding, pretože variabilita zvyšuje riziko neplatného výstupu.
Môže top-p odstrániť halucinácie?
Nie. Odstráni časť nízkopravdepodobnostného chvosta, ale model môže priradiť vysokú pravdepodobnosť nesprávnemu tvrdeniu. Faktickosť vyžaduje zdroje a validáciu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- The Curious Case of Neural Text Degeneration
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.