vzorkování výstupu | AI slovník

Odborná definice

Sampling je způsob generování, při kterém model vybírá další token náhodným výběrem z pravděpodobnostního rozdělení místo vždy najpravdepodobnejšej možnosti. Rozdělení lze měnit teplotou, top-k, top-p nebo ďalšími pravidly, které zužují množinu kandidátů. Vzorkování zvyšuje variabilitu a umožňuje více platných pokračování, zároveň však může zvýšit faktické chyby, nestabilitu formátu a rozdíly mezi opakovanými behmi. Použitá konfigurace dekódování je proto součástí reprodukovatelného záznamu experimentu.

Srozumitelné vysvětlení

Jazykový model při každém kroku nevidí jednu hotovou větu, ale seznam možných dalších tokenů s různými pravdepodobnostmi. Vzorkování je jako žrebování z tohoto seznamu, přičemž pravdepodobnejšie možnosti mají více lístků. Nastavení určují, zda se žrebuje pouze mezi favoritmi nebo i mezi odvážnejšími kandidátmi. Kreatívny text může profitovat z pestrejšieho výběru, ale extrakce údajů nebo právní šablóna potřebuje ovela prísnejšiu kontrolu. Při porovnávání promptů je třeba držet parametry vzorkování stejné, jinak se mieša vliv promptu a náhody.

Časté otázky

Jako teplota ovlivňuje sampling?

Vyšší teplota splošťuje rozdělení a dává větší šancu méně pravdepodobným tokenom. Nižší teplota zvýrazňuje favoritů, proto bývá výstup konzistentnejší, ne však automaticky pravdivejší.

Jaký je rozdíl mezi top-k a top-p?

Top-k ponechá pevný počet najpravdepodobnejších kandidátů. Top-p ponechá najmenšiu množinu tokenů, které součet pravděpodobností dosáhne zvolený práh, takže její velikost se mění podle kontextu.

Je greedy decoding sampling?

Ne. Greedy decoding vždy vybere token s nejvyšší pravděpodobností. Sampling obsahuje náhodný prvek a při stejném vstupe může vytvořit odlišné pokračování.

Proč stejný prompt dává rozdílně odpovědi?

Pokud je aktivně stochastické vzorkování a není fixované náhodné semeno, každé generování může zvolit jinou cestu. Rozdíly se následně kumulují token po tokene.

Kdy je sampling nevhodný?

Při výstupech, které musí být reprodukovatelné, přesně formátované nebo bezpečnostne citlivé, může nekontrolovaná náhodnost zvyšovat riziko. Tehdy se kombinuje nízká variabilita s validací.

Související pojmy

Zdroje a redakční stopa

The Curious Case of Neural Text Degeneration
PyTorch torch.multinomial documentation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.