Odborná definícia
Odborná definícia
L1 regularization pridáva k pôvodnej stratovej funkcii penalizáciu úmernú súčtu absolútnych hodnôt parametrov modelu. Optimalizácia preto uprednostňuje riešenia, v ktorých sú mnohé koeficienty presne nulové alebo veľmi blízke nule. V lineárnej regresii sa táto forma označuje ako Lasso. Intenzitu zásahu určuje regularizačný koeficient. Metóda obmedzuje zložitosť modelu, môže vykonať implicitný výber príznakov a mení kompromis medzi prispôsobením tréningovým dátam a schopnosťou generalizovať.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si rozpočet, v ktorom sa platí za každý použitý vstup podľa absolútnej veľkosti jeho koeficientu. Model si preto necháva iba tie vstupy, ktoré mu prinášajú dostatočný úžitok, a slabé koeficienty radšej stlačí na nulu. Výsledkom môže byť kratší zoznam aktívnych premenných a jednoduchší model. Pri silne korelovaných príznakoch však L1 často vyberie iba jedného zástupcu, takže nulový koeficient nemožno automaticky chápať ako dôkaz, že daná premenná nemá vecný význam.
Časté otázky
Časté otázky
Ako sa volí sila L1 penalizácie?
Hodnota sa vyberá na validačných dátach, typicky krížovou validáciou. Príliš slabá penalizácia sotva zmení model, príliš silná môže vynulovať aj užitočné koeficienty.
Prečo L1 vytvára presné nuly?
Geometria absolútnej normy má ostré rohy na súradnicových osiach. Optimum penalizovanej úlohy preto často dopadne práve na bod, kde je jeden alebo viac koeficientov nulových.
Je L1 automatický dôkaz dôležitosti príznakov?
Nie. Výber závisí od mierky, korelácií, vzorky aj zvolenej sily penalizácie. Stabilitu treba overiť opakovaným tréningom alebo resamplingom.
Musia sa vstupy pred L1 škálovať?
Áno, pri väčšine modelov je škálovanie zásadné. Bez neho platia príznaky s odlišnými jednotkami rozdielnu efektívnu penalizáciu.
Kedy môže L1 zhoršiť výsledok?
Ak je signál rozdelený medzi veľa slabých premenných alebo ak potrebujete stabilné koeficienty pri silnej kolinearite, agresívne riedenie môže odstrániť užitočnú informáciu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- scikit-learn, Lasso
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.