Prompt tuning, definícia a použitie | AI slovník

Odborná definícia

Prompt tuning je PEFT metóda, ktorá ponechá parametre predtrénovaného modelu zmrazené a učí malú sadu spojitých vektorov, nazývaných soft alebo virtual tokens. Tieto vektory sa pridajú k embeddingom vstupu a optimalizujú backpropagation pre konkrétnu úlohu. Na rozdiel od ručne písaného promptu nemusia zodpovedať čitateľným slovám. Jeden základný model môže obsluhovať viac úloh s rozdielnymi soft promptmi a nízkou úložnou réžiou. Výkon závisí od veľkosti modelu, počtu virtuálnych tokenov, inicializácie, dát a toho, či úloha vyžaduje hlbšiu zmenu reprezentácií.

Zrozumiteľné vysvetlenie

Tím chce prispôsobiť veľký model klasifikácii reklamácií bez zmeny miliárd váh. Pred každý vstup pridá napríklad dvadsať trénovateľných vektorov. Optimalizátor mení iba tieto vektory, kým základ zostáva rovnaký. Soft prompt nemožno jednoducho prečítať ako vetu a bez správneho základného modelu nemá význam. Jeho malá veľkosť uľahčuje distribúciu, no výsledok sa musí testovať na každej doméne. Pri menšom modeli alebo zložitej zmene správania môže LoRA či úplný fine-tuning dosiahnuť lepšiu kvalitu.

Časté otázky

Ako sa soft prompt líši od textového promptu?

Textový prompt tvoria diskrétne tokeny z vocabulara a človek ho môže čítať. Soft prompt sú spojité embeddingy učené gradientom, ktoré nemusia mať priamy jazykový preklad.

Koľko parametrov sa pri prompt tuningu učí?

Približne počet virtuálnych tokenov krát rozmer embeddingu, prípadne parametre generátora promptu. Ide o veľmi malú časť oproti všetkým váham veľkého modelu.

Je prompt tuning rovnaké ako prefix tuning?

Nie. Prompt tuning typicky pridáva trénovateľné embeddingy na vstup. Prefix tuning vkladá naučené kľúče a hodnoty do attention vrstiev, takže zasahuje každú vybranú vrstvu.

Dá sa soft prompt preniesť na inú verziu modelu?

Zvyčajne nie bez overenia. Musí sedieť architektúra, rozmer embeddingu, tokenizer a často aj presná revízia základných váh. Malá zmena modelu môže adaptér znefunkčniť.

Kedy prompt tuning zaostáva?

Pri menších modeloch, silnom doménovom posune alebo úlohách vyžadujúcich rozsiahlu zmenu interných reprezentácií. Rozhoduje porovnanie s LoRA, head tuningom a full fine-tuningom.

Súvisiace pojmy

Zdroje a redakčná stopa

Lester et al., The Power of Scale for Prompt Tuning
Hugging Face, Prompt tuning

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.