Dolaďování pomocí soft promptů | AI slovník

Odborná definice

Prompt tuning je PEFT metoda, která ponechá parametry předtrénovaného modelu zmrazené a učí malou sadu spojitých vektorů, nazývaných soft nebo virtual tokens. Tyto vektory se pridají k embeddingom vstupu a optimalizují backpropagation pro konkrétní úlohu. Na rozdíl od ručně písaného promptu nemusí odpovídat čitatelným slovám. Jeden základní model může obsluhovat více úloh s rozdielnymi soft promptmi a nízkou úložnou réžiou. Výkon závisí na velikosti modelu, počtu virtuálnych tokenů, inicializace, dat a toho, či úloha vyžaduje hlbšiu změnu reprezentací.

Srozumitelné vysvětlení

Tím chce přizpůsobit velký model klasifikaci reklamací bez změny miliárd váh. Před každý vstup přidá například dvadsat trénovatelných vektorů. Optimalizátor mění pouze tyto vektory, zatímco základ zůstává stejný. Soft prompt nelze jednoduše prečítat jako větu a bez správného základního modelu nemá význam. Jeho malá velikost ulahčuje distribuci, ale výsledek se musí testovat na každé doméně. Při menším modeli nebo zložitej změně chování může Lora či úplný fine-tuning dosáhnout lepší kvalitu.

Časté otázky

Jak se soft prompt liší od textového promptu?

Textový prompt tvoří diskrétní tokeny z vocabulara a člověk ho může číst. Soft prompt jsou spojité embeddingy učené gradientem, které nemusí mít přímý jazykový překlad.

Kolik parametrů se při prompt tuningu učí?

Přibližně počet virtuálnych tokenů krát rozměr embeddingu, případně parametry generátora promptu. Jde o velmi malou část oproti všem váham velkého modelu.

Je prompt tuning stejné jako prefix tuning?

Ne. Prompt tuning typicky přidává trénovatelné embeddingy na vstup. Prefix tuning vkladá naučené klúče a hodnoty do attention vrstev, takže zasahuje každou vybranou vrstvu.

Lze soft prompt přenést na jinou verzi modelu?

Obvykle ne bez ověření. Musí sedieť architektura, rozměr embeddingu, tokenizer a často i přesná revize základných váh. Malá změna modelu může adaptér znefunkčnit.

Kdy prompt tuning zaostáva?

Při menších modelech, silnom doménovém posune nebo úlohách vyžadujúcich rozsiahlu změnu interných reprezentací. Rozhoduje porovnání s Lora, head tuningom a full fine-tuningom.

Související pojmy

Zdroje a redakční stopa

Lester et al., The Power of Scale for Prompt Tuning
Hugging Face, Prompt tuning

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.