L1 regularizace | AI slovník

Odborná definice

L1 regularization přidává k původní ztrátové funkcii penalizaci úmernou súčtu absolútnych hodnot parametrů modelu. Optimalizace proto upřednostňuje řešení, ve kterých jsou mnohé koeficienty přesně nulové nebo velmi blízké nule. V lineární regresii se tato forma označuje jako Lasso. Intenzitu zásahu určuje regularizačný koeficient. Metoda omezuje složitost modelu, může provést implicitný výběr příznaků a mění kompromis mezi prispůsobením tréninkovým datům a schopností generalizovat.

Srozumitelné vysvětlení

Představte si rozpočet, ve kterém se platí za každý použitý vstup podle absolútnej velikosti jeho koeficientu. Model si proto necháva pouze ty vstupy, které mu prinášají dostatečný úžitok, a slabé koeficienty raději stlačí na nulu. Výsledkem může být kratší seznam aktívnych proměnných a jednodušší model. Při silně korelovaných príznakoch však L1 často vybere pouze jednoho zástupcu, takže nulový koeficient nelze automaticky chápat jako důkaz, že daná proměnná nemá vecný význam.

Časté otázky

Jak se volí síla L1 penalizace?

Hodnota se vybírá na validačních datech, typicky krížovou validací. Příliš slabá penalizace sotva změní model, příliš silná může vynulovat i užitečné koeficienty.

Proč L1 vytváří přesné nuly?

Geometrie absolútnej normy má ostré rohy na súradnicových osiach. Optimum penalizovanej úlohy proto často dopadne právě na bod, kde je jeden nebo více koeficientů nulových.

Je L1 automatický důkaz důležitosti příznaků?

Ne. Výběr závisí na měřítka, korelací, vzorku i zvolené síly penalizace. Stabilitu je třeba ověřit opakovaným tréninkem nebo resamplingom.

Musí se vstupy před L1 škálovat?

Ano, při večšine modelů je škálování zásadné. Bez něho platí příznaky s odlišnými jednotkami rozdielnu efektívnu penalizaci.

Kdy může L1 zhoršit výsledek?

Pokud je signál rozdělený mezi mnoho slabých proměnných nebo pokud potrebujete stabilní koeficienty při silné kolinearite, agresívne riedení může odstranit užitočnou informaci.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Lasso

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.