Automatizované hladání neuronové architektury

Odborná definice

Neural architecture search, zkráceně NAS, je soubor metod na automatické hladání struktury neuronové sítě pro zadanou úlohu a omezení. NAS definuje prostor kandidátů, strategii vyhledávání a způsob odhadu výkonu bez úplného tréninku každé možnosti. Může optimalizovat přesnost, latenci, paměť, spotrebu energie nebo kombinaci cílů. Používá evolučné algoritmy, reinforcement learning, bayesovskou optimalizaci nebo diferencovatelné relaxace. Výsledek může být preučený na benchmark nebo závislý od konkrétního hardwaru.

Srozumitelné vysvětlení

Místo toho, aby inžinier ručně skúšal počet vrstev, propojení a operace, NAS vytvoří pravidla, podle kterých tyto návrhy zkoumá algoritmus. Kandidát se rychle odhadne, porovná a lépe možnosti se dále rozvíjají. Pokud je cílem telefón, do skóre lze zahrnout skutečnou latenci na zařízení, ne pouze přesnost. Hladání však může spotrebovat více výpočtů než trénink jednoho dobře navrhnutého modelu a výsledná architektura musí projít novým tréninkem i nezávislou validací.

Časté otázky

Z akých troch částí se typicky skládá NAS?

Ze search space, který určuje povolené architektury, ze search strategy, která vybírá kandidátů, a z performance estimation strategy, která odhaduje jejich kvalitu s prijatelnou cenou.

Co je weight sharing v NAS?

Více kandidátske architektury zdielají parametry jedné nad-sítě. Snižuje to výpočetní náklady, ale pořadí kandidátů pod zdielanými váhami nemusí odpovídat pořadí po samostatnom tréninku.

Může NAS optimalizovat model pro konkrétní čip?

Ano. Hardware-aware NAS zahrnie meranou nebo predikovanou latenci, paměť a energetické limity cílového zařízení. Architektura vhodná pro GPU nemusí být optimální pro mobilný procesor.

Proč je porovnání NAS metod náročné?

Výsledek ovlivňuje prostor hladání, tréninkový rozpočet, náhodné semená, augmentace i způsob retrainingu. Bez stejného protokolu nelze oddělit kvalitu vyhladávača od kvality experimentálneho nastavení.

Kdy se NAS prakticky neoplatí?

Při běžné úloze s dostupnou overenou architekturou, malém datasete nebo obmedzenom rozpočte může ruční doladení a transfer learning přinést lepší poměr ceny, času a auditovatelnosti.

Související pojmy

Zdroje a redakční stopa

Neural Architecture Search: A Survey

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.