Odborná definícia
Odborná definícia
Kernel ridge regression spája ridge regression s kernelovým zobrazením. Minimalizuje kvadratickú chybu a L2 regularizáciu vo funkčnom priestore určenom kernelom, pričom riešenie možno vyjadriť koeficientmi pri tréningových príkladoch. Pri nelineárnom kerneli modeluje nelineárnu funkciu v pôvodných vstupoch. Hyperparameter alpha riadi regularizáciu, parametre kernelu jeho hladkosť. Tréning zahŕňa riešenie lineárneho systému nad Gramovou maticou. Uzavreté riešenie uľahčuje reprodukovateľnosť, no numerická stabilita závisí od kondície matice.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Chcete predpovedať spotrebu stroja, ktorá sa s teplotou mení zakrivene a bez ostrých skokov. RBF kernel povie, ktoré prevádzkové body sú si podobné, a ridge regularizácia zabráni tomu, aby model slepo kopíroval každý šumový záznam. Predikcia je váženou kombináciou podobností k tréningovým bodom. Veľmi malé alpha môže vytvoriť zvlnenú funkciu, veľké alpha ju príliš sploští. Pri veľkom počte záznamov sa však riešenie kernelovej matice stane drahé. Ak pribudnú nové režimy stroja, podobnosti k starým bodom už nemusia pokrývať nový prevádzkový priestor.
Časté otázky
Časté otázky
Ako sa líši od klasickej ridge regression?
Lineárna ridge regression regularizuje koeficienty pôvodných príznakov. Kernelová verzia sa správa lineárne v implicitnom príznakovom priestore, takže s RBF alebo polynomiálnym kernelom vytvára nelineárnu predikciu.
Akú úlohu má parameter alpha?
Zvyšuje diagonálu kernelovej matice a tlmí veľké koeficienty. Vyššie alpha zvyšuje bias a stabilitu, nižšie alpha lepšie prispôsobí tréning, ale môže zosilniť šum a numerické problémy.
V čom sa líši od SVR?
Obe metódy môžu používať kernel. KRR optimalizuje štvorcovú chybu a zvyčajne používa všetky tréningové body v predikcii. SVR používa epsilon-insensitive loss a môže vytvoriť riedke riešenie so support vectors.
Dá sa použiť na viac výstupov?
Áno, rovnaký kernelový systém možno riešiť pre viac cieľových stĺpcov. Treba však posúdiť, či všetky výstupy zdieľajú vhodnú geometriu a či samostatné škálovanie cieľov nemení regularizáciu.
Ako škáluje s počtom vzoriek?
Pamäť pre hustú Gramovu maticu rastie približne kvadraticky a priame riešenie môže byť kubické. Pri veľkých dátach sa používajú aproximácie kernelu, iteratívne riešiče alebo lokálne podmnožiny.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- scikit-learn, KernelRidge
- scikit-learn, Kernel ridge vs SVR
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.