věta o univerzální aproximaci | AI slovník

Odborná definice

Universal approximation theorem označuje rodinu výsledků dokazujúcich, že neuronová síť s vhodnou nelineárnou aktivací a dostatočným počtem jednotek dokáže na kompaktnej oblasti aproximovat širokou třídu spojitých funkcí s lubovolne malou chybou. Věta je existenčná, neurčuje potřebnou šírku, množství dat, algoritmus učení ani schopnost generalizovat. Neznamená ani přesnou reprezentaci nekonečnej domény či efektivně nájdení parametrů. Praktický výkon proto závisí na architektury, optimalizace a induktívneho biasu. Při citování je třeba uvést konkrétní verzi teorémy, typ funkce, doménu a podmínky aktivačnej funkce.

Srozumitelné vysvětlení

Teoréma hovoří, že dostatečně velká síť má kapacitu napodobnit velmi zložitou funkci na ohraničenom prostoru. Je to podobné tvrzení, že z velkého množství krátkych úsečiek lze nakreslit lubovolne hladkou krivku. Neříká však, kolik úsečiek potrebujeme, jako jejich nájdeme ani či kresba bude fungovat mimo známeho rozsahu. Proto se z ní nedá vyvodit, že každý velký model se automaticky naučí správně pravidlo nebo vyřeší lubovolnou úlohu. V marketingovom textu se nesmí existenčný výsledek zaměnit za důkaz, že konkrétní model je dostatečný nebo trénovatelný.

Časté otázky

Dokazuje teoréma, že jedna skrytá vrstva vždy stačí prakticky?

Dokazuje aproximačnou existenci za určitých podmínek. Jedna vrstva může potrebovat extrémně mnoho jednotek, zatímco hlbšia síť vyjadrí strukturu efektivněji.

Zaručuje universal approximation dobrou generalizaci?

Ne. Síť může aproximovat tréninkovou funkci a zároveň zlyhávat na nových bodech. Generalizace závisí na dat, regularizace, architektury a učení.

Platí věta pouze pro sigmoid?

Původní výsledky používali sigmoidné aktivace, pozdější práce rozšírili podmínky na mnohé nepolynomiálne a další aktivační funkce.

Hovoří teoréma něco o tréninkovém algoritme?

Ne. Nezaručuje, že gradientní sestup najde vhodné parametry, ani že jejich najde v rozumnom čase a s dostupnou numerickou přesností.

Proč je teoréma stále důležitá?

Stanovuje základnou expresívnu schopnost neuronových sítí a oddeluje otázku reprezentovatelnosti funkce od otázek efektivity, učení a spolahlivosti.

Související pojmy

Zdroje a redakční stopa

Approximation by Superpositions of a Sigmoidal Function, Cybenko Multilayer Feedforward Networks are Universal Approximators, Hornik et al.

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.