Odborná definícia
Odborná definícia
Floating-point operation, skrátene FLOP, je jedna aritmetická operácia vykonaná s číslami reprezentovanými v pohyblivej rádovej čiarke, napríklad sčítanie alebo násobenie. Počet FLOPs odhaduje výpočtovú prácu modelu alebo jedného forward passu, zatiaľ čo FLOP/s vyjadruje výkon hardvéru za sekundu. Rôzne nástroje môžu fused multiply-add počítať ako jednu alebo dve operácie. Samotný počet nezachytáva prenos dát, paralelizáciu, sparsity, presnosť formátu ani reálnu latenciu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Dve siete môžu mať rovnaký počet parametrov, ale jedna spracuje obrázok s oveľa väčším počtom násobení a sčítaní. FLOPs približne ukážu, koľko aritmetickej práce vykoná. Na konkrétnom čipe však môže byť pomalší model s menším počtom operácií, ak často presúva dáta z pamäte alebo používa zle podporované operátory. Preto sa výpočtová zložitosť uvádza spolu s latenciou, priepustnosťou, spotrebou, batch size a numerickým formátom ako FP32, BF16 či INT8.
Časté otázky
Časté otázky
Aký je rozdiel medzi FLOP a FLOP/s?
FLOP označuje množstvo aritmetickej práce, FLOP/s rýchlosť vykonávania operácií. Prvé opisuje úlohu, druhé teoretický alebo meraný výkon zariadenia.
Prečo sa multiply-add niekedy počíta dvakrát?
Operácia obsahuje jedno násobenie a jedno sčítanie. Niektoré konvencie ich rátajú ako dve FLOPs, hoci hardvér ich môže vykonať spojenou inštrukciou.
Určuje počet FLOPs latenciu modelu?
Nie presne. Latenciu ovplyvňuje pamäťová priepustnosť, paralelizácia, tvar tenzorov, knižnica, kompilácia, batch size a hardvérové akcelerátory.
Ako sa FLOPs odhadujú pri neurónovej sieti?
Nástroj prejde výpočtový graf a spočíta operácie vrstiev pre zadaný tvar vstupu. Dynamické vetvenie alebo sparsity môžu odhad skomplikovať.
Prečo treba uvádzať numerickú presnosť?
Rovnaká operácia v FP32, BF16 alebo FP16 má odlišnú rýchlosť, pamäťové nároky a numerické vlastnosti na danom hardvéri.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.