Gradientné… (Gradient boosting) | AI slovník

Odborná definícia

Význam a odborné vymedzenie pojmu

Gradient boosting je aditívna ensemble metóda, ktorá buduje model po etapách a v každej etape pridáva slabý learner aproximujúci záporný gradient zvolenej stratovej funkcie vzhľadom na aktuálne predikcie. Najčastejšie sa používajú plytké rozhodovacie stromy. Nový strom opravuje systematické chyby predchádzajúceho súboru, pričom learning rate riadi veľkosť príspevku. Počet stromov, ich hĺbka, subsampling a regularizácia určujú kompromis medzi podučením a preučením. XGBoost, LightGBM a CatBoost sú optimalizované varianty, nie synonymá základného algoritmu.

Zrozumiteľné vysvetlenie

Ako sa pojem používa v praxi

Predstavte si tím odhadujúci cenu domu. Prvý jednoduchý strom urobí hrubý odhad. Druhý sa neučí cenu od začiatku, ale skúma, kde prvý model systematicky prestrelil alebo podstrelil. Ďalšie stromy pridávajú menšie korekcie, až súčet vytvorí presný model. Ak každý opravný krok dostane príliš veľkú váhu alebo stromy rastú príliš hlboko, súbor začne kopírovať náhodné zvláštnosti tréningu. Gradient v názve označuje smer zlepšenia straty v priestore predikcií, hoci samotnými slabými modelmi bývajú rozhodovacie stromy.

Časté otázky

Otázky, ktoré spresňujú význam

Prečo sa metóda volá gradient boosting?

Každý nový člen aproximuje smer, ktorý najrýchlejšie znižuje diferencovateľnú stratu vzhľadom na aktuálne predikcie. Boosting označuje postupné skladanie slabších modelov do silného súboru.

Ako sa gradient boosting líši od random forest?

Random forest trénuje stromy prevažne nezávisle na bootstrap vzorkách a priemeruje ich. Gradient boosting stavia stromy sekvenčne, pričom každý reaguje na chyby už existujúceho súboru.

Ktoré hyperparametre sú najdôležitejšie?

Learning rate, počet stromov, hĺbka alebo počet listov, minimálna veľkosť listu a subsampling. Menší learning rate často potrebuje viac stromov, ale môže priniesť stabilnejšiu generalizáciu.

Vie gradient boosting pracovať s chýbajúcimi a kategóriovými údajmi?

Závisí od implementácie. Niektoré knižnice sa učia smer chýbajúcich hodnôt alebo používajú špeciálne kódovanie kategórií, iné vyžadujú explicitnú predprípravu.

Sú pravdepodobnosti gradient boosting modelu kalibrované?

Nie nevyhnutne. Optimalizácia log loss pomáha, ale hlboké stromy, nevyvážené dáta a výber prahu môžu vytvoriť nadmernú istotu. Kalibrácia sa overuje na oddelenej množine.

Súvisiace pojmy

Významové a tematické súvislosti

Pojem v rozhodovaní

Odborné články, ktoré tento pojem používajú v praxi

Zdroje a redakčná stopa

Použité východiská a odborná revízia

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.