Nízko-rangová adaptace, Lora | AI slovník

Odborná definice

Low-rank adaptation, Lora, je metoda parameter-efficient fine-tuningu, která ponechá původní matici váh zmrazenou a naučí její aditivní aktualizaci rozloženou na součin dvou matic s nízkým rankem. Počet trénovaných parametrů je proto podstatně menší než při plném fine-tuningu. Aktualizace se škáluje a může být vložená pouze do vybraných projekcí, například attention vrstev. Adapter lze při inferenci sloučit se základními váhami, ale jeho kompatibilita závisí na přesné verze base modelu.

Srozumitelné vysvětlení

Místo prepisování miliárd parametrů velkého modelu přidá Lora ku konkrétnym maticiam malou opravou vrstvu. Tato oprava je zapísaná jako dvě úzké matice, takže se učí a ukládá výrazně méně čísel. Jeden základní model tak může používat více samostatných adapterů pro různé úlohy nebo domény. Malý soubor však není samostatný model, bez správného base checkpointu nedáva smysl. Rang, cílové moduly, kvalita dat a scaling rozhodují o kapacite i riziku přeučení.

Časté otázky

Co znamená rank v Lora?

Určuje vnitřní rozměr nízko-rangového rozkladu a tím kapacitu aktualizace. Vyšší rank zvyšuje počet parametrů i možnost zachytit zložitejšiu změnu.

Které vrstvy se obvykle adaptují?

Často query a value projekce attention, někdy i key, output nebo MLP vrstvy. Nejlepší volba závisí na modelu a úlohy.

Přidává Lora latenci při inferenci?

Pokud se aktualizace zlúči do základní matice, nemusí pridávat další vetvu výpočtu. Při dynamickom prepínaní adapterů může serving používat samostatné operace.

Lze Lora adapter použít na jiném base modeli?

Pouze pokud přesně odpovídá architektura, názvy modulů, rozměry a zpravidla i checkpoint. Podobný název modelu nezaručuje kompatibilitu.

Je Lora vždy stejně kvalitná jako full fine-tuning?

Ne. Při mnoha úlohách je konkurencieschopná, ale nízký rank nebo nevhodné moduly mohou omezit potřebnou změnu reprezentace.

Související pojmy

Zdroje a redakční stopa

Hu et al., LoRA: Low-Rank Adaptation of Large Language Models

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.