Odborná definícia
Odborná definícia
LoRA je parameterovo úsporné doladenie, ktoré zmrazené váhy modelu dopĺňa nízkohodnostnými maticami a trénuje iba malý počet nových parametrov.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Jednoducho povedané, LoRA je parameterovo úsporné doladenie, ktoré zmrazené váhy modelu dopĺňa nízkohodnostnými maticami a trénuje iba malý počet nových parametrov. V praxi sa prínos metódy overuje porovnaním s jednoduchšou základnou verziou a na dátach zodpovedajúcich cieľu.
Časté otázky
Časté otázky
Čo je LoRA?
LoRA je parameterovo úsporné doladenie, ktoré zmrazené váhy modelu dopĺňa nízkohodnostnými maticami a trénuje iba malý počet nových parametrov.
Na čo sa LoRA používa?
Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa prínos metódy overuje porovnaním s jednoduchšou základnou verziou a na dátach zodpovedajúcich cieľu.
Ako sa LoRA overuje v praxi?
Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.
Aké riziká alebo obmedzenia treba pri LoRA sledovať?
Rizikom je použitie bez porovnávacej základne, prenos do nevhodnej domény alebo skrytý vedľajší účinok. Prínos sa musí overiť kontrolovaným experimentom na dátach zodpovedajúcich cieľu.
Čím sa LoRA líši od súvisiacich pojmov?
LoRA sa od pojmov Lemmatization, Label smoothing, Label encoding odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- ISO/IEC 22989:2022
- NIST AI Risk Management Framework 1.0
- OECD AI Principles
- Primárna odborná literatúra podľa typu pojmu
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.