Deep neural network, definícia a použitie | AI slovník

Odborná definícia

Deep neural network je neurónová sieť s viacerými po sebe nasledujúcimi transformačnými vrstvami medzi vstupom a výstupom. Každá vrstva aplikuje naučenú lineárnu alebo inú parametrickú operáciu a nelinearitu, čím vytvára čoraz abstraktnejšiu reprezentáciu. Hĺbka umožňuje efektívne skladať zložité funkcie, no zároveň komplikuje optimalizáciu, interpretáciu a kontrolu generalizácie. Konkrétnou hlbokou sieťou môže byť konvolučná sieť, transformer, rekurentná architektúra alebo kombinovaný multimodálny model.

Zrozumiteľné vysvetlenie

Hlboká neurónová sieť nie je definovaná iba veľkým počtom neurónov, ale najmä reťazením vrstiev, v ktorých sa informácia postupne mení. Pri analýze zvuku môže jedna vrstva zachytiť frekvenčné zmeny, ďalšia fonetické vzory a vyššia význam slova. Každý krok je jednoduchší než celá úloha, no ich skladanie vytvára silnú funkciu. Problémom je, že chyba aj skreslenie sa môžu prenášať cez mnoho vrstiev. Preto sa sledujú aktivácie, gradienty, kalibrácia aj správanie na okrajových prípadoch.

Časté otázky

Koľko vrstiev musí mať sieť, aby bola hlboká?

Neexistuje pevná hranica. Pojem vyjadruje viacstupňové učenie reprezentácií, pričom moderné modely môžu mať desiatky až tisíce blokov.

Prečo sa používajú reziduálne spojenia?

Umožňujú informácii a gradientu obísť časť vrstiev. Zjednodušujú tréning veľmi hlbokých sietí a obmedzujú degradáciu výkonu.

Čo spôsobuje miznúci gradient?

Pri opakovanom násobení malými deriváciami sa signál pre skoré vrstvy zmenšuje. Pomáhajú vhodné aktivácie, inicializácia, normalizácia a reziduálne cesty.

Je transformer hlboká neurónová sieť?

Áno. Skladá sa z opakovaných blokov pozornosti a dopredných vrstiev, ktoré sa učia reprezentácie sekvencií alebo multimodálnych vstupov.

Ako sa meria kapacita siete?

Približne počtom parametrov, šírkou, hĺbkou a architektúrou, no praktickú kapacitu ovplyvňuje aj optimalizácia, regularizácia a množstvo dát.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.