Odborná definícia
Význam a odborné vymedzenie pojmu
Parameter je číselná hodnota, ktorú model počas učenia nastavuje tak, aby znižoval zvolenú stratovú funkciu alebo spĺňal iný optimalizačný cieľ. V neurónových architektúrach sú to najčastejšie koeficienty spojení a posuny vrstiev, pri lineárnej regresii sklonové členy a v pravdepodobnostných modeloch veličiny určujúce tvar rozdelenia. Parameter sa odlišuje od hyperparametra, ktorý určuje konfiguráciu učenia zvonka. Počet parametrov opisuje kapacitu iba nepriamo, pretože výkon závisí aj od architektúry, dát, regularizácie a spôsobu optimalizácie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Keď sa jazykový model učí predpovedať ďalší token, tréning postupne upravuje miliardy malých čísel. Jedno číslo zvyčajne nenesie čitateľné pravidlo typu faktúra znamená účtovný doklad. Význam je rozložený medzi veľkým množstvom váh a aktivácií. Dva modely s rovnakým počtom parametrov preto nemusia mať rovnakú schopnosť ani náklady. Pri nasadení treba poznať aj dátový typ parametrov, pamäťovú stopu, kvantizáciu a to, či sú niektoré časti zmrazené alebo ďalej trénované.
Časté otázky
Otázky, ktoré spresňujú význam
Čo sa v modeli učí a čo sa nastavuje zvonka?
Vnútorné koeficienty sa menia podľa tréningových príkladov. Konfigurácie ako learning rate, veľkosť batchu, počet vrstiev alebo sila regularizácie určuje experimentátor či automatické ladenie.
Znamená viac parametrov automaticky lepší model?
Nie. Väčší model môže mať vyššiu kapacitu, ale potrebuje vhodné dáta, tréningový rozpočet a architektúru. Pri slabej evaluácii môže byť drahší bez praktického zlepšenia alebo sa môže horšie správať mimo distribúcie.
Ako sa počet parametrov premieta do pamäte?
Pri ukladaní vo formáte FP32 potrebuje každý parameter približne štyri bajty, pri FP16 dva a pri nižšej kvantizácii menej. Počas tréningu sa navyše ukladajú gradienty a stavy optimalizátora.
Môže byť parameter nulový a stále súčasťou modelu?
Áno. Nulová váha môže vzniknúť tréningom alebo pruningom. Ak implementácia nevyužíva riedke výpočty, nulový prvok však môže naďalej zaberať pamäť a nezrýchliť inference.
Prečo sa parametre pri fine-tuningu niekedy zmrazia?
Zmrazenie chráni základné reprezentácie a znižuje výpočtové náklady. Učia sa iba vybrané vrstvy alebo adaptéry, čo uľahčuje správu viacerých doménových verzií jedného základného modelu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, Parameter
- Google ML Glossary, Parameters and hyperparameters
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.