vzorkování z k nejlepších tokenů | AI slovník

Odborná definice

Top-k sampling je dekódovace metoda, která v každém kroku ponechá pouze k tokenů s nejvyšší pravděpodobností, ostatným nastaví pravděpodobnost na nulu, zvyšné hodnoty renormalizuje a z nich vzorkuje. Pevná velikost kandidátnej množiny omezuje velmi nepravdepodobné pokračování, ale nereaguje na tvar distribuce. Při určité predikci může být k zbytočne velké, při plochej distribuci zasa příliš malé. Výsledek závisí i od teploty a dalších filtrů logits. Hodnota k se nehodnotí pouze na průměrné kvalite, ale i na najhorších bezpečnostných a formátových zlyhaniach.

Srozumitelné vysvětlení

Model má před každým tokenom zoradený seznam možností. Top-k odreže vše kromě pevného počtu nejlepších kandidátů. Při k rovnom 10 se tedy žrebuje pouze mezi prvými desiatimi, i keby jeden z nich měl téměř všetku pravděpodobnost nebo byly desiatky možností podobně pravdepodobné. Metoda je jednoduchá a predvídatelná, ale stejné k nemusí sedieť v každém kroku. Proto se často porovnává s top-p, které mění počet kandidátů podle kumulatívnej pravděpodobnosti. Pevný počet kandidátů může být vhodný pro jednu doménu a příliš otevřený pro jinou, i při stejném modeli.

Časté otázky

Co se stane při k rovnom 1?

Zůstane pouze najpravdepodobnejší token, takže postup odpovídá greedy dekódování, pokud se neuplatňují další pravidla nebo náhodné vezby.

Jak se volí hodnota k?

Empiricky na validačních úlohách podle kvality, rozmanitosti a chybovosti. Kreatívne úlohy mohou tolerovat větší množinu než strukturované odpovědi.

Odstraňuje top-k halucinace?

Ne. Může odstranit extrémně nepravdepodobné tokeny, ale nesprávně tvrzení může být mezi najpravdepodobnejšími pokračovaniami modelu.

Lze kombinovat s top-p?

Ano. Implementace může nejprve uplatnit oba filtry a vzorkovat z jejich prieniku. Pořadí a minimální počet tokenů se liší mezi knižnicami.

Ovlivňuje top-k reprodukovatelnost?

Stále jde o náhodné vzorkování, pokud k presahuje jednu. Reprodukce potřebuje stejný seed, model, logits procesory a deterministický runtime.

Související pojmy

Zdroje a redakční stopa

Hugging Face Generation documentation The Curious Case of Neural Text Degeneration

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.