Odborná definice
Význam a odborné vymezení pojmu
Qlora je metoda parametricky efektívneho dolaďování, při které zůstává základní jazykový model zmrazený a uložený v nízké bitové přesnosti, zatímco se učí malé Lora adaptéry. Gradient se přenáší přes dekvantizované výpočty do adaptérů, ne do původných kvantizovaných váh. Původní návrh používá 4-bitový typ NF4, dvojitou kvantizaci a stránkované optimalizátory na snížení pameťových špičiek. Qlora popisuje tréninkový postup, ne záruku, že finálny zlúčený model bude automaticky vhodný na nízkobitovou inferenci.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Velký model si lze predstavit jako rozsiahlu encyklopédiu, kterou není možné během úprav celou rozložit na stole. Qlora ji drží v stlačenej podobe a přidá malé poznámkové vrstvy, které se dají učit na jedné karte. Při odpovedi se potřebná část základu dočasne převede do výpočetní přesnosti a spojí s poznámkami. Paměť klesne, ale výpočet, kvalita dat a způsob exportu zůstávají důležité.
Časté otázky
Otázky, které upřesňují význam
Jak se Qlora liší od Lora?
Lora může pracovat s plnopresným zmrazeným základom. Qlora navíc udržuje základní model kvantizovaný, aby znížil paměť.
Které parametry se trénují?
Nízkorangové adaptéry a případně vybrané malé moduly. Původní váhy základního modelu zůstávají zmrazené.
Proč se používá NF4?
Je navržený pro přibližně normálně rozdělené váhy a efektivněji rozkladá 4-bitové úrovně než rovnomerný formát.
Lze adaptér sloučit do základu?
Technicky ano, ale export může vyžadovat dekvantizaci a novou kvantizaci. Výsledek je třeba znovu otestovat.
Zaručuje Qlora stejnou kvalitu jako plné dolaďování?
Ne. Výsledek závisí na úlohy, ranku, dat, kvantizace a evaluace. Úspora paměti není důkaz stejné generalizace.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- Dettmers et al., QLoRA, 2023
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.