Odborná definícia
Odborná definícia
Random search je metóda ladenia hyperparametrov, ktorá opakovane vzorkuje konfigurácie z vopred určených rozdelení alebo množín a každú vyhodnocuje podľa rovnakého validačného protokolu. Na rozdiel od grid search nemusí skúšať kartézsky súčin pevných hodnôt, preto môže pri rovnakom rozpočte preskúmať viac odlišných hodnôt dôležitých parametrov. Metóda nevyužíva výsledky predchádzajúcich behov na výber ďalšieho pokusu, čo uľahčuje paralelizáciu, ale znižuje adaptívnosť.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Namiesto prechádzania pravidelnej tabuľky nastavení vyberá random search kombinácie ako dobre navrhnutá lotéria. Ak výkon modelu ovplyvňujú hlavne dva parametre z desiatich, pravidelná mriežka môže premrhať veľa behov na nepodstatných osiach. Náhodné vzorkovanie častejšie skúsi nové hodnoty na každej osi a dá sa spustiť na viacerých strojoch bez vzájomného čakania. Kvalita však závisí od rozumných rozsahov a od validačného rozpočtu, nie od náhody samotnej.
Časté otázky
Časté otázky
Ako nastaviť rozsahy pre random search?
Rozsah má odrážať technicky prípustné hodnoty a mierku parametra. Learning rate sa často vzorkuje logaritmicky, kým počet vrstiev alebo stromov z diskrétnej množiny.
Musí mať každý pokus rovnaký seed?
Seed modelu a seed výberu konfigurácií je vhodné evidovať oddelene. Úplná reprodukovateľnosť vyžaduje aj verziu dát, knižníc a validačného delenia.
Kedy vyhľadávanie ukončiť?
Pred spustením sa určí počet pokusov, časový limit alebo výpočtový rozpočet. Prakticky možno skončiť aj po dlhšej sérii bez zlepšenia, ale pravidlo má byť stanovené vopred.
Je random search vhodný na paralelné spustenie?
Áno. Jednotlivé konfigurácie sú nezávislé, takže sa dajú rozdeliť medzi procesy alebo uzly bez centrálneho modelu, ktorý by čakal na výsledky.
Kedy je lepšia Bayesovská optimalizácia?
Ak je jeden tréning veľmi drahý a počet pokusov malý, adaptívny výber môže využiť rozpočet efektívnejšie. Random search zostáva silným, jednoduchým a auditovateľným baseline.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Bergstra and Bengio, Random Search for Hyper-Parameter Optimization, JMLR, 2012
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.