TPU, specializovaný akcelerátor Google | AI slovník

Odborná definice

Tensor Processing Unit je aplikačne špecifický integrovaný obvod navržený spoločností Google na zrychlení úloh strojového učení, zejména rozsáhlých maticových operací. TPU systémy spojují výpočetní jednotky, vysokorýchlostnou paměť a prepojovaci síť do konfigurací pro trénink i inferenci. Výkon závisí na podporovaných operací, datových typů, tvarů tensorů a kompilace grafu. TPU není všeobecná náhrada CPU nebo GPU pro každý algoritmus. Výkonové tvrzení se mají viazat na konkrétní generaci TPU, přesnost, framework a velikost úlohy.

Srozumitelné vysvětlení

TPU je čip, kterého velká část je navržená pro opakované násobení a sčítání matic používané v neuronových sítích. Místo univerzálnosti se soustřeďuje na vysokou propustnost typických AI výpočtů. Při vhodne pripravenom modeli může trénink nebo inference bežať velmi efektivně i na rozsáhlé skupině čipů. Aplikace však musí respektovat podporované operace a efektivně tvary dávek. Kód s častými dynamickými vetveniami nebo malými nepravidelnými úlohami nemusí TPU využit dobře. Název TPU proto nestačí na odhad ceny ani rychlosti bez presného profilu modelu a konfigurace podu.

Časté otázky

Je TPU druh GPU?

Ne. Obě zařízení zrýchlují paralelní výpočty, ale TPU je ASIC navržený špecificky pro strojové učení. GPU má šířeji grafické a obecné paralelní použití.

Na jaké úlohy se TPU používá?

Na trénink a inferenci velkých neuronových sítí, včetně jazykových, obrazových a multimodálnych modelů. Konkrétní podpora se liší podle generace a softvéru.

Jaké frameworky mohou používat Cloud TPU?

Google dokumentace podporuje zejména JAX, Tensorflow a Pytorch přes príslušné kompilačné a runtime vrstvy. Kompatibilita operací se musí ověřit pro konkrétní model.

Co je TPU Pod?

Je to prepojená zostava mnoha TPU čipů navržená na distribuovaný výpočet. Softvér rozděluje tensory a komunikaci podle zvolené paralelizačnej strategie.

Proč je důležitá kompilace grafu?

Kompilátor zoskupuje operace a plánuje jejich pro hardware. Časté změny tvaru nebo dynamické řízení mohou způsobit nové kompilace a snížit výkon.

Související pojmy

Zdroje a redakční stopa

Google Cloud TPU documentation
Google Cloud, Introduction to TPU

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.