Náhodné vyhledávání hyperparametrů | AI slovník

Odborná definice

Random search je metoda ladění hyperparametrů, která opakovaně vzorkuje konfigurace z předem určených rozdělení nebo množin a každou vyhodnocuje podle stejného validačního protokolu. Na rozdíl od grid search nemusí skúšat kartézsky součin pevných hodnot, proto může při stejném rozpočte preskúmat více odlišných hodnot důležitých parametrů. Metoda nevyužíva výsledky předchozích běhů na výběr dalšího pokusu, co ulahčuje paralelizaci, ale snižuje adaptívnost.

Srozumitelné vysvětlení

Místo prechádzání pravidelnej tabulky nastavení vybírá random search kombinace jako dobře navržená lotéria. Pokud výkon modelu ovlivňují hlavne dva parametry z desiatich, pravidelná mriežka může premrhat mnoho běhů na nepodstatných osiach. Náhodné vzorkování častěji skúsi nové hodnoty na každé osi a lze spustit na více strojoch bez vzájomného čakání. Kvalita však závisí na rozumných rozsahů a od validačního rozpočtu, ne od náhody samotnej.

Časté otázky

Jako nastavit rozsahy pro random search?

Rozsah má odrážat technicky prípustné hodnoty a měřítko parametru. Learning rate se často vzorkuje logaritmicky, zatímco počet vrstev nebo stromů z diskrétnej množiny.

Musí mít každý pokus stejný seed?

Seed modelu a seed výběru konfigurací je vhodné evidovat odděleně. Úplná reprodukovatelnost vyžaduje i verzi dat, knižníc a validačního dělení.

Kdy vyhledávání ukončit?

Před spuštěním se určí počet pokusů, časový limit nebo výpočetní rozpočet. Prakticky lze skončit i po dlhšej sérii bez zlepšení, ale pravidlo má být stanovené předem.

Je random search vhodný na paralelní spuštění?

Ano. Jednotlivé konfigurace jsou nezávislé, takže se dají rozdelit mezi procesy nebo uzly bez centrálneho modelu, který by čakal na výsledky.

Kdy je lepší Bayesovská optimalizace?

Pokud je jeden trénink velmi drahý a počet pokusů malý, adaptivní výběr může využit rozpočet efektivněji. Random search zůstává silným, jednoduchým a auditovatelným baseline.

Související pojmy

Zdroje a redakční stopa

Bergstra and Bengio, Random Search for Hyper-Parameter Optimization, JMLR, 2012

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.