Odborná definícia
Význam a odborné vymedzenie pojmu
Sampling je spôsob generovania, pri ktorom model vyberá ďalší token náhodným výberom z pravdepodobnostného rozdelenia namiesto vždy najpravdepodobnejšej možnosti. Rozdelenie možno meniť teplotou, top-k, top-p alebo ďalšími pravidlami, ktoré zužujú množinu kandidátov. Vzorkovanie zvyšuje variabilitu a umožňuje viac platných pokračovaní, zároveň však môže zvýšiť faktické chyby, nestabilitu formátu a rozdiely medzi opakovanými behmi. Použitá konfigurácia dekódovania je preto súčasťou reprodukovateľného záznamu experimentu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Jazykový model pri každom kroku nevidí jednu hotovú vetu, ale zoznam možných ďalších tokenov s rôznymi pravdepodobnosťami. Vzorkovanie je ako žrebovanie z tohto zoznamu, pričom pravdepodobnejšie možnosti majú viac lístkov. Nastavenia určujú, či sa žrebuje iba medzi favoritmi alebo aj medzi odvážnejšími kandidátmi. Kreatívny text môže profitovať z pestrejšieho výberu, no extrakcia údajov alebo právna šablóna potrebuje oveľa prísnejšiu kontrolu. Pri porovnávaní promptov treba držať parametre vzorkovania rovnaké, inak sa mieša vplyv promptu a náhody.
Časté otázky
Otázky, ktoré spresňujú význam
Ako teplota ovplyvňuje sampling?
Vyššia teplota splošťuje rozdelenie a dáva väčšiu šancu menej pravdepodobným tokenom. Nižšia teplota zvýrazňuje favoritov, preto býva výstup konzistentnejší, nie však automaticky pravdivejší.
Aký je rozdiel medzi top-k a top-p?
Top-k ponechá pevný počet najpravdepodobnejších kandidátov. Top-p ponechá najmenšiu množinu tokenov, ktorej súčet pravdepodobností dosiahne zvolený prah, takže jej veľkosť sa mení podľa kontextu.
Je greedy decoding sampling?
Nie. Greedy decoding vždy vyberie token s najvyššou pravdepodobnosťou. Sampling obsahuje náhodný prvok a pri rovnakom vstupe môže vytvoriť odlišné pokračovania.
Prečo rovnaký prompt dáva rozdielne odpovede?
Ak je aktívne stochastické vzorkovanie a nie je fixované náhodné semeno, každé generovanie môže zvoliť inú cestu. Rozdiely sa následne kumulujú token po tokene.
Kedy je sampling nevhodný?
Pri výstupoch, ktoré musia byť reprodukovateľné, presne formátované alebo bezpečnostne citlivé, môže nekontrolovaná náhodnosť zvyšovať riziko. Vtedy sa kombinuje nízka variabilita s validáciou.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- The Curious Case of Neural Text Degeneration
- PyTorch torch.multinomial documentation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.