Hardware accelerator, definícia a použitie | AI slovník

Odborná definícia

Hardware accelerator je špecializovaný procesor alebo výpočtová jednotka navrhnutá tak, aby vybrané operácie vykonávala rýchlejšie alebo energeticky úspornejšie než všeobecný CPU. V AI ide najmä o GPU, TPU, NPU, FPGA a ASIC optimalizované pre násobenie matíc, tenzorové operácie, nízku presnosť a vysokú paralelizáciu. Skutočný prínos závisí od dátového toku, pamäťovej priepustnosti, podporovaných formátov, kompilátora a využitia jadier. Teoretický počet operácií za sekundu preto sám neurčuje latenciu, náklady ani výkon konkrétneho modelu.

Zrozumiteľné vysvetlenie

CPU je univerzálny pracovník, ktorý zvládne veľa odlišných úloh, ale neurónová sieť potrebuje opakovane násobiť obrovské bloky čísel. Akcelerátor má tisíce jednoduchších jednotiek, ktoré také výpočty robia paralelne. Je to podobné linke určenej na jeden typ výroby. Linka môže byť extrémne rýchla, no iba vtedy, keď materiál prichádza bez prestojov a výrobok zodpovedá jej rozmerom. Model s nepravidelnými operáciami, malým batchom alebo častým presunom dát môže využívať iba zlomok deklarovaného výkonu a naraziť skôr na pamäť než na počet výpočtových jadier.

Časté otázky

Aký je rozdiel medzi GPU a TPU?

GPU vzniklo pre paralelnú grafiku a neskôr získalo tenzorové jadrá a rozsiahly AI ekosystém. TPU je ASIC navrhnutý spoločnosťou Google pre tenzorové výpočty. Výhodnosť závisí od frameworku, dostupnosti, modelu a prevádzkového prostredia.

Čo znamená TOPS pri AI čipe?

TOPS udáva bilióny operácií za sekundu pri určenej presnosti a type operácie. Bez údajov o dátovom formáte, sparsity, pamäti a reálnom vyťažení nemožno podľa jedného čísla spoľahlivo porovnať výkon aplikácií.

Prečo je pamäťová priepustnosť taká dôležitá?

Ak jadrá čakajú na váhy alebo aktivácie, ich výpočtová kapacita zostáva nevyužitá. Veľké jazykové modely pri inferencii často limituje presun dát z pamäte, najmä pri malom počte súbežných požiadaviek.

Kedy sa používa FPGA?

FPGA možno po nasadení prekonfigurovať pre vlastný dátový tok, presnosť alebo latenciu. Hodí sa do špecializovaných zariadení a prototypov, no vývoj býva náročnejší než použitie bežného GPU a optimalizovaného frameworku.

Ako sa porovnáva energetická efektívnosť akcelerátorov?

Meria sa výkon na watt pri rovnakom modeli, kvalite, batchi a latencii. Treba zahrnúť pamäť, hostiteľský procesor, chladenie a nevyužitú kapacitu, nie iba spotrebu samotného čipu pri syntetickom benchmarku.

Súvisiace pojmy

Zdroje a redakčná stopa

Google Cloud, TPU architecture (docs.cloud.google.com) NVIDIA, Tensor Cores (nvidia.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.