Hardwarový akcelerátor | AI slovník

Odborná definice

Hardware accelerator je specializovaný procesor nebo výpočetní jednotka navržená tak, aby vybrané operace vykonávala rychleji nebo energeticky úspornejšie než obecný CPU. V AI jde zejména o GPU, TPU, NPU, FPGA a ASIC optimalizované pro násobení matic, tenzorové operace, nízkou přesnost a vysokou paralelizaci. Skutečný přínos závisí na datového toku, pameťovej propustnosti, podporovaných formátů, kompilátora a využitia jadier. Teoretický počet operací za sekundu proto sám neurčuje latenci, náklady ani výkon konkrétního modelu.

Srozumitelné vysvětlení

CPU je univerzální pracovník, který zvládne mnoho odlišných úloh, ale neuronová síť potřebuje opakovaně násobit obrovské bloky čísel. Akcelerátor má tisíce jednodušších jednotek, které také výpočty robia paralelně. Je to podobné linke určenej na jeden typ výroby. Linka může být extrémně rychlá, ale pouze tehdy, když materiál prichádza bez prestojů a výrobok odpovídá její rozmerom. Model s nepravidelnými operacemi, malým batchom nebo častým presunom dat může využívat pouze zlomok deklarovaného výkonu a narazit dříve na paměť než na počet výpočetních jadier.

Časté otázky

Jaký je rozdíl mezi GPU a TPU?

GPU vzniklo pro paralelnou grafiku a později získalo tenzorové jádra a rozsáhlý AI ekosystém. TPU je ASIC navržený spoločností Google pro tenzorové výpočty. Výhodnost závisí na frameworku, dostupnosti, modelu a provozního prostředí.

Co znamená TOPS při AI čipe?

TOPS udáva bilióny operací za sekundu při určenej přesnosti a type operace. Bez údajů o dátovom formáte, sparsity, pameti a reálném vyťažení nelze podle jednoho čísla spolehlivě porovnat výkon aplikací.

Proč je paměťová propustnost taká důležitá?

Pokud jádra čakají na váhy nebo aktivace, jejich výpočetní kapacita zůstává nevyužitá. Velké jazykové modely při inferenci často limituje přesun dat z paměti, zejména při malém počtu súbežných požadavků.

Kdy se používá FPGA?

FPGA lze po nasazení prekonfigurovat pro vlastní datový tok, přesnost nebo latenci. Hodí se do špecializovaných zařízení a prototypů, ale vývoj bývá náročnejší než použití běžného GPU a optimalizovaného frameworku.

Jak se porovnává energetická efektívnost akcelerátorů?

Měří se výkon na watt při stejném modeli, kvalite, batchi a latencii. Je třeba zahrnout paměť, hostitelský procesor, chladení a nevyužitou kapacitu, ne pouze spotrebu samotného čipu při syntetickom benchmarku.

Související pojmy

Zdroje a redakční stopa

Google Cloud, TPU architecture (docs.cloud.google.com) NVIDIA, Tensor Cores (nvidia.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.