Jádrová hřebenová regrese | AI slovník

Odborná definice

Kernel ridge regression spojuje ridge regression s kernelovým zobrazením. Minimalizuje kvadratickou chybu a L2 regularizaci ve funkčnom prostoru určenom kernelem, přičemž řešení lze vyjadrit koeficientmi při tréninkových příkladech. Při nelineárnom kerneli modeluje nelineárnu funkci v původných vstupech. Hyperparameter alpha řídí regularizaci, parametry kernelu jeho hladkosť. Trénink zahrnuje řešení lineárneho systému nad Gramovou maticou. Uzavreté řešení ulahčuje reprodukovatelnost, ale numerická stabilita závisí na kondíce matice.

Srozumitelné vysvětlení

Chcete predpovedat spotrebu stroja, která se s teplotou mění zakrivene a bez ostrých skoků. RBF kernel řekne, které provozní body jsou si podobné, a ridge regularizace zabrání tomu, aby model slepo kopíroval každý šumový záznam. Predikce je váženou kombinací podobností k tréninkovým bodem. Velmi malé alpha může vytvořit zvlnenou funkci, velké alpha ji příliš sploští. Při velkém počtu záznamů se však řešení kernelovej matice stane drahé. Pokud pribudnou nové režimy stroja, podobnosti k starým bodem už nemusí pokrývat nový provozní prostor.

Časté otázky

Jak se liší od klasickej ridge regression?

Lineární ridge regression regularizuje koeficienty původných příznaků. Kernelová verze se správa lineární v implicitním příznakovém prostoru, takže s RBF nebo polynomiálnym kernelem vytváří nelineárnu predikci.

Jakou úlohu má parameter alpha?

Zvyšuje diagonálu kernelovej matice a tlmí velké koeficienty. Vyšší alpha zvyšuje bias a stabilitu, nižší alpha lépe prispůsobí trénink, ale může zosilnit šum a numerické problémy.

V čem se liší od SVR?

Obě metody mohou používat kernel. KRR optimalizuje štvorcovou chybu a obvykle používá všechny tréninková body v predikci. SVR používá epsilon-insensitive loss a může vytvořit řídké řešení se support vectors.

Lze použít na více výstupů?

Ano, stejný kernelový systém lze řešit pro více cílových stlpců. Je třeba však posoudit, či všechny výstupy zdielají vhodnou geometrii a či samostatné škálování cílů nemění regularizaci.

Jako škáluje s počtem vzorků?

Paměť pro hustou Gramovu matici roste přibližně kvadraticky a priame řešení může být kubické. Při velkých datech se používají aproximace kernelu, iterativně riešiče nebo lokálně podmnožiny.

Související pojmy

Zdroje a redakční stopa

scikit-learn, KernelRidge
scikit-learn, Kernel ridge vs SVR

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.