Odborná definícia
Význam a odborné vymedzenie pojmu
Bayesian optimization je stratégia na optimalizáciu drahej black-box funkcie s malým počtom vyhodnotení. Namiesto priameho gradientu udržiava pravdepodobnostný surrogate model neznámej funkcie, často Gaussian process, a pomocou acquisition function vyberá ďalší bod experimentu. Acquisition function kombinuje očakávaný prínos s neistotou, čím vyvažuje prieskum a využívanie. Metóda je vhodná pri časovo alebo finančne nákladnom tréningu, no jej účinnosť klesá vo veľmi vysokorozmerných priestoroch, pri silnom šume alebo pri zle zadaných podmienkach.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si, že jeden tréning modelu trvá osem hodín a chcete nastaviť learning rate, regularizáciu a veľkosť vrstiev. Náhodné skúšanie by premrhalo veľa behov. Bayesovská optimalizácia si po každom experimente vytvorí mapu, kde očakáva dobrý výsledok a kde je stále veľká neistota. Ďalší pokus vyberie tak, aby mal vysokú šancu zlepšiť optimum alebo priniesol cennú informáciu. Nie je to veštenie, ale riadené rozhodovanie podľa posterioru, pričom výsledok závisí od surrogate modelu, acquisition funkcie a správneho cieľa.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je surrogate model?
Je to lacná pravdepodobnostná aproximácia vzťahu medzi konfiguráciou a výsledkom drahého experimentu. Po každom meraní sa aktualizuje. Poskytuje odhad výkonu aj neistotu, ktorú acquisition function využíva pri voľbe ďalšieho bodu.
Na čo slúži acquisition function?
Prevedie predikciu a neistotu surrogate modelu na skóre kandidáta. Expected improvement, probability of improvement alebo upper confidence bound uprednostňujú body podľa odlišného kompromisu medzi prieskumom a využívaním.
Je Bayesovská optimalizácia lepšia než random search?
Nie univerzálne. Má výhodu, keď je každý experiment drahý a priestor má zvládnuteľnú dimenziu. Pri mnohých podmienených parametroch, lacných behoch alebo masívnom paralelizme môže byť random alebo quasi-random search jednoduchší a konkurencieschopný.
Ako sa riešia obmedzenia, napríklad maximálna latencia?
Možno modelovať výkon aj pravdepodobnosť splnenia obmedzenia a acquisition skóre upraviť tak, aby preferovalo realizovateľné body. Praktický systém musí oddeliť tvrdé bezpečnostné limity od mäkkých optimalizačných cieľov.
Čo je multi-fidelity Bayesian optimization?
Používa lacnejšie približné hodnotenia, napríklad menší dataset, menej epoch alebo menší model, a rozhoduje, ktorým konfiguráciám prideliť drahší plný beh. Musí však zohľadniť, že poradie kandidátov pri nízkej fidelite nemusí zostať rovnaké.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Snoek, Larochelle a Adams, Practical Bayesian Optimization of Machine Learning Algorithms
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.