Low-rank adaptation, definícia a použitie | AI slovník

Odborná definícia

Low-rank adaptation, LoRA, je metóda parameter-efficient fine-tuningu, ktorá ponechá pôvodnú maticu váh zmrazenú a naučí jej aditívnu aktualizáciu rozloženú na súčin dvoch matíc s nízkym rangom. Počet trénovaných parametrov je preto podstatne menší než pri plnom fine-tuningu. Aktualizácia sa škáluje a môže byť vložená iba do vybraných projekcií, napríklad attention vrstiev. Adapter možno pri inferencii zlúčiť so základnými váhami, no jeho kompatibilita závisí od presnej verzie base modelu.

Zrozumiteľné vysvetlenie

Namiesto prepisovania miliárd parametrov veľkého modelu pridá LoRA ku konkrétnym maticiam malú opravú vrstvu. Táto oprava je zapísaná ako dve úzke matice, takže sa učí a ukladá výrazne menej čísel. Jeden základný model tak môže používať viac samostatných adapterov pre rôzne úlohy alebo domény. Malý súbor však nie je samostatný model, bez správneho base checkpointu nedáva zmysel. Rang, cieľové moduly, kvalita dát a scaling rozhodujú o kapacite aj riziku preučenia.

Časté otázky

Čo znamená rank v LoRA?

Určuje vnútorný rozmer nízko-rangového rozkladu a tým kapacitu aktualizácie. Vyšší rank zvyšuje počet parametrov aj možnosť zachytiť zložitejšiu zmenu.

Ktoré vrstvy sa zvyčajne adaptujú?

Často query a value projekcie attention, niekedy aj key, output alebo MLP vrstvy. Najlepšia voľba závisí od modelu a úlohy.

Pridáva LoRA latenciu pri inferencii?

Ak sa aktualizácia zlúči do základnej matice, nemusí pridávať ďalšiu vetvu výpočtu. Pri dynamickom prepínaní adapterov môže serving používať samostatné operácie.

Dá sa LoRA adapter použiť na inom base modeli?

Iba ak presne zodpovedá architektúra, názvy modulov, rozmery a spravidla aj checkpoint. Podobný názov modelu nezaručuje kompatibilitu.

Je LoRA vždy rovnako kvalitná ako full fine-tuning?

Nie. Pri mnohých úlohách je konkurencieschopná, ale nízky rank alebo nevhodné moduly môžu obmedziť potrebnú zmenu reprezentácie.

Súvisiace pojmy

Zdroje a redakčná stopa

Hu et al., LoRA: Low-Rank Adaptation of Large Language Models

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.