Odborná definícia
Odborná definícia
Top-k sampling je dekódovacia metóda, ktorá v každom kroku ponechá iba k tokenov s najvyššou pravdepodobnosťou, ostatným nastaví pravdepodobnosť na nulu, zvyšné hodnoty renormalizuje a z nich vzorkuje. Pevná veľkosť kandidátnej množiny obmedzuje veľmi nepravdepodobné pokračovania, ale nereaguje na tvar distribúcie. Pri istej predikcii môže byť k zbytočne veľké, pri plochej distribúcii zasa príliš malé. Výsledok závisí aj od teploty a ďalších filtrov logits. Hodnota k sa nehodnotí iba na priemernej kvalite, ale aj na najhorších bezpečnostných a formátových zlyhaniach.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model má pred každým tokenom zoradený zoznam možností. Top-k odreže všetko okrem pevného počtu najlepších kandidátov. Pri k rovnom 10 sa teda žrebuje iba medzi prvými desiatimi, aj keby jeden z nich mal takmer všetku pravdepodobnosť alebo boli desiatky možností podobne pravdepodobné. Metóda je jednoduchá a predvídateľná, ale rovnaké k nemusí sedieť v každom kroku. Preto sa často porovnáva s top-p, ktoré mení počet kandidátov podľa kumulatívnej pravdepodobnosti. Pevný počet kandidátov môže byť vhodný pre jednu doménu a príliš otvorený pre inú, aj pri rovnakom modeli.
Časté otázky
Časté otázky
Čo sa stane pri k rovnom 1?
Zostane iba najpravdepodobnejší token, takže postup zodpovedá greedy dekódovaniu, ak sa neuplatňujú ďalšie pravidlá alebo náhodné väzby.
Ako sa volí hodnota k?
Empiricky na validačných úlohách podľa kvality, rozmanitosti a chybovosti. Kreatívne úlohy môžu tolerovať väčšiu množinu než štruktúrované odpovede.
Odstraňuje top-k halucinácie?
Nie. Môže odstrániť extrémne nepravdepodobné tokeny, ale nesprávne tvrdenie môže byť medzi najpravdepodobnejšími pokračovaniami modelu.
Dá sa kombinovať s top-p?
Áno. Implementácia môže najprv uplatniť oba filtre a vzorkovať z ich prieniku. Poradie a minimálny počet tokenov sa líšia medzi knižnicami.
Ovplyvňuje top-k reprodukovateľnosť?
Stále ide o náhodné vzorkovanie, ak k presahuje jednu. Reprodukcia potrebuje rovnaký seed, model, logits procesory a deterministický runtime.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Hugging Face Generation documentation The Curious Case of Neural Text Degeneration
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.