Odborná definícia
Význam a odborné vymedzenie pojmu
Neural architecture search, skrátene NAS, je súbor metód na automatické hľadanie štruktúry neurónovej siete pre zadanú úlohu a obmedzenia. NAS definuje priestor kandidátov, stratégiu vyhľadávania a spôsob odhadu výkonu bez úplného tréningu každej možnosti. Môže optimalizovať presnosť, latenciu, pamäť, spotrebu energie alebo kombináciu cieľov. Používa evolučné algoritmy, reinforcement learning, bayesovskú optimalizáciu alebo diferencovateľné relaxácie. Výsledok môže byť preučený na benchmark alebo závislý od konkrétneho hardvéru.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Namiesto toho, aby inžinier ručne skúšal počet vrstiev, prepojenia a operácie, NAS vytvorí pravidlá, podľa ktorých tieto návrhy skúma algoritmus. Kandidát sa rýchlo odhadne, porovná a lepšie možnosti sa ďalej rozvíjajú. Ak je cieľom telefón, do skóre možno zahrnúť skutočnú latenciu na zariadení, nie iba presnosť. Hľadanie však môže spotrebovať viac výpočtov než tréning jedného dobre navrhnutého modelu a výsledná architektúra musí prejsť novým tréningom aj nezávislou validáciou.
Časté otázky
Otázky, ktoré spresňujú význam
Z akých troch častí sa typicky skladá NAS?
Zo search space, ktorý určuje povolené architektúry, zo search strategy, ktorá vyberá kandidátov, a z performance estimation strategy, ktorá odhaduje ich kvalitu s prijateľnou cenou.
Čo je weight sharing v NAS?
Viaceré kandidátske architektúry zdieľajú parametre jednej nad-siete. Znižuje to výpočtové náklady, ale poradie kandidátov pod zdieľanými váhami nemusí zodpovedať poradiu po samostatnom tréningu.
Môže NAS optimalizovať model pre konkrétny čip?
Áno. Hardware-aware NAS zahrnie meranú alebo predikovanú latenciu, pamäť a energetické limity cieľového zariadenia. Architektúra vhodná pre GPU nemusí byť optimálna pre mobilný procesor.
Prečo je porovnanie NAS metód náročné?
Výsledok ovplyvňuje priestor hľadania, tréningový rozpočet, náhodné semená, augmentácia aj spôsob retrainingu. Bez rovnakého protokolu nemožno oddeliť kvalitu vyhľadávača od kvality experimentálneho nastavenia.
Kedy sa NAS prakticky neoplatí?
Pri bežnej úlohe s dostupnou overenou architektúrou, malom datasete alebo obmedzenom rozpočte môže ručné doladenie a transfer learning priniesť lepší pomer ceny, času a auditovateľnosti.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Neural Architecture Search: A Survey
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.