Dopředný průchod | AI slovník

Odborná definice

Forward pass je postupné provedení operací modelu od vstupních tenzorů po výstupní aktivace, skóre nebo predikci. Každá vrstva aplikuje svoje váhy, bias, normalizaci, aktivaci nebo jinou transformaci na výstup předchozí části. Během tréninku dopředný průchod vytvoří hodnoty a výpočetní graf potřebný na výpočet loss a následný backward pass. Při inferenci se gradienty obvykle nesledují a vrstvy jako dropout či batch normalization pracují v eval režime.

Srozumitelné vysvětlení

Když model dostane fotografii, forward pass ji pošle přes konvolúce, aktivace a další vrstvy, až vzniknou logits jednotlivých tříd. V této fáze se váhy nemění, pouze se používají na výpočet. Při tréninku se výsledek porovná s labelom a až spetný průchod vypočítá gradienty. Pokud vývojář zabudne prepnúť model do inference režimu, dropout může náhodně vypínat jednotky nebo batch normalization používat nevhodné statistiky, takže stejný vstup dá nestabilný výsledek.

Časté otázky

Mění se váhy během forward passu?

Ne přímo. Dopředný výpočet používá aktuálně parametry. Jejich změna nastane až po backpropagation a kroku optimalizátora během tréninku.

Co se ukládá pro backward pass?

Framework zachová potřebné medzivýsledky nebo pravidla derivací v computational graph. Gradient checkpointing může část aktivací prepočítat a šetrit paměť.

Proč se při inferenci vypínají gradienty?

Nejsou potřebné na aktualizaci parametrů. Jejich nesledování snižuje pameťové nároky a režijný čas výpočtu.

Jako batch size ovlivňuje dopředný průchod?

Větší dávka lépe využije paralelní hardware, ale spotrebuje více paměti a může zvýšit latenci jedné požadavky.

Co je chyba tvaru tenzora?

Výstup jedné vrstvy nemá rozměry očakávané ďalšou vrstvou. Diagnostika sleduje shape po jednotlivých krocích forward funkce.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.