Odborná definícia
Význam a odborné vymedzenie pojmu
Bagging je ensemble metóda, ktorá trénuje viacero modelov na bootstrapových vzorkách pôvodných dát a ich výstupy agreguje. Bootstrapová vzorka vzniká náhodným výberom s opakovaním, preto jednotlivé modely vidia odlišné kombinácie príkladov. Pri regresii sa predikcie zvyčajne priemerujú, pri klasifikácii sa používa hlasovanie alebo priemer pravdepodobností. Hlavným prínosom je znižovanie variability nestabilných modelov, najmä stromov, pričom systematické skreslenie základného algoritmu nemusí výrazne klesnúť.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Jeden rozhodovací strom môže zmeniť výsledok už po malej zmene tréningových dát. Bagging preto vytvorí mnoho mierne odlišných tréningových súborov, naučí na nich samostatné stromy a ich názory spojí. Náhodné chyby jednotlivých modelov sa môžu pri agregácii vyrušiť, podobne ako priemer viacerých nezávislých meraní. Metóda funguje najlepšie, keď sú základné modely dostatočne presné, ale nerobia úplne rovnaké chyby. Random forest pridáva k baggingu ešte náhodný výber vlastností pri delení stromov.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo bootstrap vyberá príklady s opakovaním?
Výber s opakovaním vytvára datasety rovnakej veľkosti, ale s rozdielnym zastúpením záznamov. Niektoré prípady sa objavia viackrát a iné vôbec. Tým vzniká variabilita potrebná na trénovanie odlišných členov ensemble bez zberu nových dát.
Čo sú out-of-bag príklady?
Pre konkrétny bootstrapový model sú to záznamy, ktoré sa do jeho tréningovej vzorky nedostali. Možno ich použiť na priebežný odhad generalizačnej chyby. Pri stromových ensemble poskytujú praktickú validáciu bez samostatného validačného delenia.
Znižuje bagging bias alebo variance?
Primárne znižuje variance, teda citlivosť modelu na konkrétnu tréningovú vzorku. Ak sú základné modely silne systematicky skreslené, priemerovanie ich spoločnú chybu neodstráni. Výsledok závisí aj od korelácie medzi členmi ensemble.
Kedy bagging neprináša veľký úžitok?
Pri veľmi stabilných algoritmoch môžu všetky modely vytvárať takmer rovnaké predikcie. Slabý prínos nastane aj vtedy, keď je dataset príliš malý alebo obsahuje zásadnú chybu, ktorú preberú všetky bootstrapové vzorky.
Ako sa bagging líši od boostingu?
Bagging trénuje členov prevažne nezávisle a potom ich agreguje. Boosting stavia modely postupne, pričom ďalší člen sa zameriava na chyby predchádzajúceho ensemble. Bagging stabilizuje, boosting často znižuje aj bias, no môže byť citlivejší na šum.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Breiman, Bagging Predictors, Machine Learning 1996
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.