Odborná definícia
Význam a odborné vymedzenie pojmu
Parameter-efficient fine-tuning, skrátene PEFT, je skupina metód, ktoré prispôsobujú predtrénovaný model aktualizáciou malej časti pôvodných parametrov alebo pridaním kompaktných trénovateľných komponentov. Základné váhy zostávajú prevažne zmrazené a učia sa napríklad low-rank adaptéry, prefixy, soft prompty alebo vybrané biasy. PEFT znižuje pamäť potrebnú na gradienty a stavy optimalizátora, zrýchľuje správu variantov a umožňuje ukladať malé adaptéry. Výsledná kvalita však závisí od metódy, umiestnenia modulov, dát a cieľovej úlohy.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Organizácia potrebuje jeden veľký model prispôsobiť právnym dokumentom, zákazníckej podpore a technickému servisu. Namiesto troch úplných kópií môže ponechať spoločný základ a pre každý účel uložiť malý adaptér. Tým šetrí tréningovú pamäť aj úložisko, no pri inference musí správne načítať základ, tokenizér a konkrétnu PEFT konfiguráciu. Adaptér nie je samostatný model, môže byť nekompatibilný s inou revíziou základu a pri nedostatočných dátach môže naučiť nežiaduce doménové skratky.
Časté otázky
Otázky, ktoré spresňujú význam
Ktoré metódy patria medzi PEFT?
Medzi rozšírené prístupy patria LoRA a jej varianty, adaptérové vrstvy, IA3, prompt tuning, prefix tuning, P-tuning a selektívne učenie malého počtu existujúcich parametrov.
Prečo PEFT znižuje pamäť počas tréningu?
Gradienty a stavy optimalizátora sa vedú iba pre malú trénovateľnú časť. Aktivácie základného modelu sú stále potrebné, preto úspora nie je rovnaká ako úplné odstránenie výpočtu cez zmrazené vrstvy.
Je PEFT vždy rovnako kvalitné ako full fine-tuning?
Nie. Pri niektorých úlohách sa kvalita vyrovná úplnému dolaďovaniu, pri veľkom doménovom posune alebo požiadavke meniť hlboké reprezentácie môže zaostávať. Rozhoduje kontrolovaný experiment.
Dajú sa adaptéry kombinovať?
Niektoré frameworky umožňujú prepínanie, vážené spájanie alebo skladanie adaptérov. Kombinácia môže vytvoriť interferenciu, preto sa musí hodnotiť na cieľových scenároch, nie iba na pôvodných benchmarkoch.
Čo treba archivovať spolu s PEFT adaptérom?
Identifikátor a hash základného modelu, tokenizér, verziu knižnice, konfiguráciu adaptéra, tréningové dáta alebo ich pôvod, metriky, licenciu a presný postup zlúčenia alebo načítania.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Hugging Face, Parameter-efficient fine-tuning PEFT library documentation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.