Bayesovská optimalizace | AI slovník

Odborná definice

Bayesian optimization je strategie na optimalizaci drahej black-box funkce s malým počtem vyhodnotení. Místo přímého gradientu udržuje pravděpodobnostní surrogate model neznámej funkce, často Gaussian process, a pomocí acquisition function vybírá další bod experimentu. Acquisition function kombinuje očekávaný přínos s nejistotou, čím vyvažuje prieskum a využívání. Metoda je vhodná při časovo nebo finančne nákladnom tréninku, ale její účinnost klesá ve velmi vysokorozmerných priestoroch, při silnom šume nebo při špatně zadaných podmínkách.

Srozumitelné vysvětlení

Představte si, že jeden trénink modelu trvá osem hodín a chcete nastavit learning rate, regularizaci a velikost vrstev. Náhodné skúšání by premrhalo mnoho běhů. Bayesovská optimalizace si po každém experimente vytvoří mapu, kde očekává dobrý výsledek a kde je stále velká nejistota. Další pokus vybere tak, aby měl vysokou šancu zlepšit optimum nebo priniesol cennou informaci. Není to veštení, ale řízené rozhodování podle posterioru, přičemž výsledek závisí na surrogate modelu, acquisition funkce a správného cíle.

Časté otázky

Co je surrogate model?

Je to lacná pravdepodobnostná aproximace vztahu mezi konfigurací a výsledkem drahého experimentu. Po každém měření se aktualizuje. Poskytuje odhad výkonu i nejistotu, kterou acquisition function využívá při volbe dalšího bodu.

Na co slouží acquisition function?

Převede predikci a nejistotu surrogate modelu na skóre kandidáta. Expected improvement, probability of improvement nebo upper confidence bound uprednostňují body podle odlišného kompromisu mezi prieskumom a využíváním.

Je Bayesovská optimalizace lepší než random search?

Ne univerzálne. Má výhodu, když je každý experiment drahý a prostor má zvládnutelnou dimenzi. Při mnoha podmienených parametrech, lacných behoch nebo masívnom paralelizme může být random nebo quasi-random search jednodušší a konkurencieschopný.

Jak se řeší omezení, například maximálna latence?

Lze modelovat výkon i pravděpodobnost splnění omezení a acquisition skóre upravit tak, aby preferovalo realizovatelné body. Praktický systém musí oddělit tvrdé bezpečnostní limity od mekkých optimalizačných cílů.

Co je multi-fidelity Bayesian optimization?

Používá lacnejšie přibližné hodnocení, například menší dataset, méně epoch nebo menší model, a rozhoduje, kterým konfiguráciám pridelit drahší plný běh. Musí však zohladnit, že pořadí kandidátů při nízké fidelite nemusí zůstat stejné.

Související pojmy

Zdroje a redakční stopa

Snoek, Larochelle a Adams, Practical Bayesian Optimization of Machine Learning Algorithms

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.