Operace s pohyblivou řádovou čárkou, FLOP

Odborná definice

Floating-point operation, zkráceně FLOP, je jedna aritmetická operace vykonaná s číslami reprezentovanými v pohyblivej rádovej čiarke, například sčítání nebo násobení. Počet Flops odhaduje výpočtovou práci modelu nebo jednoho forward passu, zatímco FLOP/s vyjadřuje výkon hardwaru za sekundu. Různé nástroje mohou fused multiply-add počítat jako jednu nebo dvě operace. Samotný počet nezachytáva přenos dat, paralelizaci, sparsity, přesnost formátu ani reálnou latenci.

Srozumitelné vysvětlení

Dvě sítě mohou mít stejný počet parametrů, ale jedna zpracuje obrázek s ovela večším počtem násobení a sčítaní. Flops přibližně ukážu, kolik aritmetickej práce provede. Na konkrétním čipe však může být pomalší model s menším počtem operací, pokud často presúva data z paměti nebo používá špatně podporované operátory. Proto se výpočetní složitost uvádí spolu s latencí, priepustností, spotřebou, batch size a numerickým formátem jako FP32, BF16 či INT8.

Časté otázky

Jaký je rozdíl mezi FLOP a FLOP/s?

FLOP označuje množství aritmetickej práce, FLOP/s rychlost vykonávání operací. První popisuje úlohu, druhé teoretický nebo meraný výkon zařízení.

Proč se multiply-add někdy počítá dvakrát?

Operace obsahuje jedno násobení a jedno sčítání. Některé konvence jejich rátají jako dvě Flops, ačkoli hardware jejich může provést spojenou inštrukcí.

Určuje počet Flops latenci modelu?

Ne přesně. Latenci ovlivňuje paměťová propustnost, paralelizace, tvar tenzorů, knihovna, kompilace, batch size a hardvérové akcelerátory.

Jak se Flops odhadují při neuronové síti?

Nástroj projde výpočetní graf a spočítá operace vrstev pro zadaný tvar vstupu. Dynamické vetvení nebo sparsity mohou odhad skomplikovat.

Proč je třeba uvádět numerickou přesnost?

Stejná operace v FP32, BF16 nebo FP16 má odlišnou rychlost, pameťové nároky a numerické vlastnosti na daném hardwaru.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.