Odborná definícia
Odborná definícia
Forward pass je postupné vykonanie operácií modelu od vstupných tenzorov po výstupné aktivácie, skóre alebo predikciu. Každá vrstva aplikuje svoje váhy, bias, normalizáciu, aktiváciu alebo inú transformáciu na výstup predchádzajúcej časti. Počas tréningu dopredný priechod vytvorí hodnoty a výpočtový graf potrebný na výpočet loss a následný backward pass. Pri inferencii sa gradienty zvyčajne nesledujú a vrstvy ako dropout či batch normalization pracujú v eval režime.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Keď model dostane fotografiu, forward pass ju pošle cez konvolúcie, aktivácie a ďalšie vrstvy, až vzniknú logits jednotlivých tried. V tejto fáze sa váhy nemenia, iba sa používajú na výpočet. Pri tréningu sa výsledok porovná s labelom a až spätný priechod vypočíta gradienty. Ak vývojár zabudne prepnúť model do inference režimu, dropout môže náhodne vypínať jednotky alebo batch normalization používať nevhodné štatistiky, takže rovnaký vstup dá nestabilný výsledok.
Časté otázky
Časté otázky
Menia sa váhy počas forward passu?
Nie priamo. Dopredný výpočet používa aktuálne parametre. Ich zmena nastane až po backpropagation a kroku optimalizátora počas tréningu.
Čo sa ukladá pre backward pass?
Framework zachová potrebné medzivýsledky alebo pravidlá derivácií v computational graph. Gradient checkpointing môže časť aktivácií prepočítať a šetriť pamäť.
Prečo sa pri inferencii vypínajú gradienty?
Nie sú potrebné na aktualizáciu parametrov. Ich nesledovanie znižuje pamäťové nároky a režijný čas výpočtu.
Ako batch size ovplyvňuje dopredný priechod?
Väčšia dávka lepšie využije paralelný hardvér, no spotrebuje viac pamäte a môže zvýšiť latenciu jednej požiadavky.
Čo je chyba tvaru tenzora?
Výstup jednej vrstvy nemá rozmery očakávané ďalšou vrstvou. Diagnostika sleduje shape po jednotlivých krokoch forward funkcie.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.