Tensor Processing Unit, definícia a použitie | AI slovník

Odborná definícia

Tensor Processing Unit je aplikačne špecifický integrovaný obvod navrhnutý spoločnosťou Google na zrýchlenie úloh strojového učenia, najmä rozsiahlych maticových operácií. TPU systémy spájajú výpočtové jednotky, vysokorýchlostnú pamäť a prepojovaciu sieť do konfigurácií pre tréning aj inferenciu. Výkon závisí od podporovaných operácií, dátových typov, tvarov tensorov a kompilácie grafu. TPU nie je všeobecná náhrada CPU alebo GPU pre každý algoritmus. Výkonové tvrdenia sa majú viazať na konkrétnu generáciu TPU, presnosť, framework a veľkosť úlohy.

Zrozumiteľné vysvetlenie

TPU je čip, ktorého veľká časť je navrhnutá pre opakované násobenie a sčítanie matíc používané v neurónových sieťach. Namiesto univerzálnosti sa sústreďuje na vysokú priepustnosť typických AI výpočtov. Pri vhodne pripravenom modeli môže tréning alebo inferencia bežať veľmi efektívne aj na rozsiahlej skupine čipov. Aplikácia však musí rešpektovať podporované operácie a efektívne tvary dávok. Kód s častými dynamickými vetveniami alebo malými nepravidelnými úlohami nemusí TPU využiť dobre. Názov TPU preto nestačí na odhad ceny ani rýchlosti bez presného profilu modelu a konfigurácie podu.

Časté otázky

Je TPU druh GPU?

Nie. Obe zariadenia zrýchľujú paralelné výpočty, ale TPU je ASIC navrhnutý špecificky pre strojové učenie. GPU má širšie grafické a všeobecné paralelné použitie.

Na aké úlohy sa TPU používa?

Na tréning a inferenciu veľkých neurónových sietí, vrátane jazykových, obrazových a multimodálnych modelov. Konkrétna podpora sa líši podľa generácie a softvéru.

Aké frameworky môžu používať Cloud TPU?

Google dokumentácia podporuje najmä JAX, TensorFlow a PyTorch cez príslušné kompilačné a runtime vrstvy. Kompatibilita operácií sa musí overiť pre konkrétny model.

Čo je TPU Pod?

Je to prepojená zostava mnohých TPU čipov navrhnutá na distribuovaný výpočet. Softvér rozdeľuje tensory a komunikáciu podľa zvolenej paralelizačnej stratégie.

Prečo je dôležitá kompilácia grafu?

Kompilátor zoskupuje operácie a plánuje ich pre hardvér. Časté zmeny tvaru alebo dynamické riadenie môžu spôsobiť nové kompilácie a znížiť výkon.

Súvisiace pojmy

Zdroje a redakčná stopa

Google Cloud TPU documentation
Google Cloud, Introduction to TPU

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.