Odborná definícia
Význam a odborné vymedzenie pojmu
Backpropagation je výpočtový postup na získanie gradientov stratovej funkcie podľa parametrov neurónovej siete. Po doprednom výpočte predikcie sa chyba šíri výpočtovým grafom opačným smerom pomocou reťazového pravidla diferenciálneho počtu. Výsledné parciálne derivácie hovoria optimalizátoru, ako citlivo strata reaguje na zmenu každého parametra. Backpropagation sama neurčuje veľkosť aktualizácie váh, tú vykonáva optimalizačný algoritmus podľa gradientov, rýchlosti učenia a ďalších pravidiel.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Sieť najprv vytvorí odpoveď a vypočíta, ako veľmi sa odlišuje od cieľa. Potom sa výpočet prechádza odzadu a pri každom parametri sa zisťuje, aký podiel mal na výslednej chybe. Je to podobné rozpočítaniu odchýlky vo výrobnej linke medzi jednotlivé kroky, nie však podľa dojmu, ale podľa derivácií. Optimalizátor následne upraví váhy smerom, ktorý má stratu znížiť. Bez spätného šírenia by tréning hlbokých sietí vyžadoval neporovnateľne drahšie odhadovanie vplyvu miliónov parametrov.
Časté otázky
Otázky, ktoré spresňujú význam
Je backpropagation to isté ako gradient descent?
Nie. Backpropagation efektívne vypočíta gradienty v sieti. Gradient descent alebo iný optimalizátor tieto gradienty použije na aktualizáciu parametrov. Jeden mechanizmus teda poskytuje smer citlivosti, druhý rozhoduje, ako sa parametre reálne zmenia.
Prečo vzniká problém miznúcich gradientov?
Pri opakovanom násobení malými deriváciami cez veľa vrstiev môže gradient smerom k skorším vrstvám klesnúť takmer na nulu. Tie sa potom učia veľmi pomaly. Pomáhajú vhodné aktivačné funkcie, reziduálne spojenia, normalizácia a starostlivá inicializácia.
Čo znamená automatická diferenciácia?
Framework si zostaví výpočtový graf operácií a aplikuje naň pravidlá derivovania. Vývojár nemusí ručne odvodiť každú rovnicu, ale stále musí rozumieť tomu, ktoré operácie sú diferencovateľné, kde sa graf prerušuje a aké gradienty vznikajú.
Používa sa backpropagation aj pri transformeroch?
Áno. Transformer má iné vrstvy než klasická dopredná sieť, no jeho parametre sa bežne učia spätným šírením gradientov cez attention, projekcie, normalizácie a feed-forward bloky. Výpočtová náročnosť rastie s veľkosťou modelu a dĺžkou sekvencie.
Ako sa kontroluje správnosť implementácie gradientov?
Pri vlastných operáciách sa používa gradient checking, ktorý porovná analytický gradient s numerickým odhadom pri malej zmene parametra. Rozdiel má byť v očakávanej tolerancii. Pri veľkých sieťach sa kontrolujú aj normy gradientov, NaN hodnoty a stabilita tréningu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Crash Course, Backpropagation
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.