Odborná definice
Odborná definice
Parameter je číselná hodnota, kterou model během učení nastavuje tak, aby znižoval zvolenou ztrátovou funkci nebo splňal jiný optimalizační cíl. V neuronových architektúrach jsou to nejčastěji koeficienty spojení a posuny vrstev, při lineární regresii sklonové členy a v pravdepodobnostných modelech veličiny určujúce tvar rozdělení. Parameter se odlišuje od hyperparametra, který určuje konfiguraci učení zvonka. Počet parametrů popisuje kapacitu pouze nepřímo, protože výkon závisí i od architektury, dat, regularizace a způsobu optimalizace.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Když se jazykový model učí predpovedat další token, trénink postupně upravuje miliardy malých čísel. Jedno číslo obvykle nenese čitatelné pravidlo typu faktúra znamená účtovný doklad. Význam je rozložený mezi velkým množstvím váh a aktivací. Dva modely s stejným počtem parametrů proto nemusí mít stejnou schopnost ani náklady. Při nasazení je třeba poznat i datový typ parametrů, pameťovou stopu, kvantizaci a to, zda jsou některé části zmrazené nebo dále trénované.
Časté otázky
Časté otázky
Co se v modeli učí a co se nastavuje zvonka?
Vnitřní koeficienty se mění podle tréninkových příkladů. Konfigurace jako learning rate, velikost batchu, počet vrstev nebo síla regularizace určuje experimentátor či automatické ladění.
Znamená více parametrů automaticky lepší model?
Ne. Větší model může mít vyšší kapacitu, ale potřebuje vhodné data, tréninkový rozpočet a architekturu. Při slabé evaluaci může být drahší bez praktického zlepšení nebo se může hůře správat mimo distribuce.
Jak se počet parametrů premieta do paměti?
Při ukladaní ve formáte FP32 potřebuje každý parameter přibližně štyri bajty, při FP16 dva a při nižšej kvantizaci méně. Během tréninku se navíc ukladají gradienty a stavy optimalizátora.
Může být parameter nulový a stále součástí modelu?
Ano. Nulová váha může vzniknout tréninkem nebo pruningom. Pokud implementace nevyužíva řídké výpočty, nulový prvek však může naďalej zaberat paměť a nezrýchlit inference.
Proč se parametry při fine-tuningu někdy zmraze?
Zmrazení chrání základní reprezentace a snižuje výpočetní náklady. Učí se pouze vybrané vrstvy nebo adaptéry, co ulahčuje správu více doménových verzií jednoho základního modelu.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Google Machine Learning Glossary, Parameter
- Google ML Glossary, Parameters and hyperparameters
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.