Odborná definícia
Význam a odborné vymedzenie pojmu
Universal approximation theorem označuje rodinu výsledkov dokazujúcich, že neurónová sieť s vhodnou nelineárnou aktiváciou a dostatočným počtom jednotiek dokáže na kompaktnej oblasti aproximovať širokú triedu spojitých funkcií s ľubovoľne malou chybou. Veta je existenčná, neurčuje potrebnú šírku, množstvo dát, algoritmus učenia ani schopnosť generalizovať. Neznamená ani presnú reprezentáciu nekonečnej domény či efektívne nájdenie parametrov. Praktický výkon preto závisí od architektúry, optimalizácie a induktívneho biasu. Pri citovaní treba uviesť konkrétnu verziu teorémy, typ funkcie, doménu a podmienky aktivačnej funkcie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Teoréma hovorí, že dostatočne veľká sieť má kapacitu napodobniť veľmi zložitú funkciu na ohraničenom priestore. Je to podobné tvrdeniu, že z veľkého množstva krátkych úsečiek možno nakresliť ľubovoľne hladkú krivku. Nehovorí však, koľko úsečiek potrebujeme, ako ich nájdeme ani či kresba bude fungovať mimo známeho rozsahu. Preto sa z nej nedá vyvodiť, že každý veľký model sa automaticky naučí správne pravidlo alebo vyrieši ľubovoľnú úlohu. V marketingovom texte sa nesmie existenčný výsledok zameniť za dôkaz, že konkrétny model je dostatočný alebo trénovateľný.
Časté otázky
Otázky, ktoré spresňujú význam
Dokazuje teoréma, že jedna skrytá vrstva vždy stačí prakticky?
Dokazuje aproximačnú existenciu za určitých podmienok. Jedna vrstva môže potrebovať extrémne veľa jednotiek, zatiaľ čo hlbšia sieť vyjadrí štruktúru efektívnejšie.
Zaručuje universal approximation dobrú generalizáciu?
Nie. Sieť môže aproximovať tréningovú funkciu a zároveň zlyhávať na nových bodoch. Generalizácia závisí od dát, regularizácie, architektúry a učenia.
Platí veta iba pre sigmoid?
Pôvodné výsledky používali sigmoidné aktivácie, neskoršie práce rozšírili podmienky na mnohé nepolynomiálne a ďalšie aktivačné funkcie.
Hovorí teoréma niečo o tréningovom algoritme?
Nie. Nezaručuje, že gradientný zostup nájde vhodné parametre, ani že ich nájde v rozumnom čase a s dostupnou numerickou presnosťou.
Prečo je teoréma stále dôležitá?
Stanovuje základnú expresívnu schopnosť neurónových sietí a oddeľuje otázku reprezentovateľnosti funkcie od otázok efektivity, učenia a spoľahlivosti.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Approximation by Superpositions of a Sigmoidal Function, Cybenko Multilayer Feedforward Networks are Universal Approximators, Hornik et al.
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.