Odborná definícia
Odborná definícia
QLoRA je metóda parametricky efektívneho dolaďovania, pri ktorej zostáva základný jazykový model zmrazený a uložený v nízkej bitovej presnosti, zatiaľ čo sa učia malé LoRA adaptéry. Gradient sa prenáša cez dekvantizované výpočty do adaptérov, nie do pôvodných kvantizovaných váh. Pôvodný návrh používa 4-bitový typ NF4, dvojitú kvantizáciu a stránkované optimalizátory na zníženie pamäťových špičiek. QLoRA opisuje tréningový postup, nie záruku, že finálny zlúčený model bude automaticky vhodný na nízkobitovú inferenciu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Veľký model si možno predstaviť ako rozsiahlu encyklopédiu, ktorú nie je možné počas úprav celú rozložiť na stole. QLoRA ju drží v stlačenej podobe a pridá malé poznámkové vrstvy, ktoré sa dajú učiť na jednej karte. Pri odpovedi sa potrebná časť základu dočasne prevedie do výpočtovej presnosti a spojí s poznámkami. Pamäť klesne, ale výpočet, kvalita dát a spôsob exportu zostávajú dôležité.
Časté otázky
Časté otázky
Ako sa QLoRA líši od LoRA?
LoRA môže pracovať s plnopresným zmrazeným základom. QLoRA navyše udržiava základný model kvantizovaný, aby znížil pamäť.
Ktoré parametre sa trénujú?
Nízkorangové adaptéry a prípadne vybrané malé moduly. Pôvodné váhy základného modelu zostávajú zmrazené.
Prečo sa používa NF4?
Je navrhnutý pre približne normálne rozdelené váhy a efektívnejšie rozkladá 4-bitové úrovne než rovnomerný formát.
Dá sa adaptér zlúčiť do základu?
Technicky áno, no export môže vyžadovať dekvantizáciu a novú kvantizáciu. Výsledok treba znovu otestovať.
Zaručuje QLoRA rovnakú kvalitu ako plné dolaďovanie?
Nie. Výsledok závisí od úlohy, ranku, dát, kvantizácie a evaluácie. Úspora pamäte nie je dôkaz rovnakej generalizácie.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Dettmers et al., QLoRA, 2023
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.