Odborná definice
Odborná definice
Nucleus sampling, nazývané i top-p sampling, je dekódovace strategie, která při každém kroku zoradí tokeny podle pravděpodobnosti a vytvoří najmenšiu množinu, které kumulatívna pravděpodobnost dosáhne práh p. Následující token se vzorkuje pouze z této dynamickej množiny po renormalizaci. Na rozdíl od top-k se počet povolených tokenů mění podle tvaru distribuce. Metoda omezuje velmi nepravdepodobné pokračování, ale nezaručuje faktičnost, bezpečnost ani globálnu konzistenci textu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Když je další slovo téměř jednoznačné, jádro může obsahovat pouze několik kandidátů. Při otvorenej tvorivej vete se do stejného prahu zmestí ovela více možností. Top-p proto přizpůsobuje šírku výběru tomu, jako neistý je model v konkrétním kroku. Nižší p vytváří konzervatívnejší text, vyšší p zvyšuje rozmanitost i riziko odbočení. Výsledek ovlivňuje i teplota, opakovace penalizace, prompt a seed, takže p se nemá hodnotit izolovane.
Časté otázky
Časté otázky
Jak se top-p liší od top-k?
Top-k vždy ponechá pevný počet tokenů. Top-p ponechá premenlivý počet tokenů tak, aby jejich součet pravděpodobností dosiahol zadaný práh.
Co znamená p = 0,9?
Model vybere najpravdepodobnejšie tokeny, kterých kumulatívna hmotnost je aspoň 0,9, a z této množiny vzorkuje. Neznamená to 90 percentnou pravděpodobnost správnosti odpovědi.
Jako spolu súvise top-p a temperature?
Temperature nejprve mění ostrosť celé distribuce, top-p potom odreže její ocas. Stejné p proto vytvoří jinou množinu kandidátů při odlišnej teplote.
Je nucleus sampling vhodné pro deterministickou extrakci?
Obvykle ne. Při extrakcii do schémata je vhodnější greedy dekódování, velmi nízká náhodnost nebo constrained decoding, protože variabilita zvyšuje riziko neplatného výstupu.
Může top-p odstranit halucinace?
Ne. Odstraní část nízkopravdepodobnostného chvosta, ale model může přiřadit vysokou pravděpodobnost nesprávnemu tvrzení. Faktičnost vyžaduje zdroje a validaci.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- The Curious Case of Neural Text Degeneration
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.