vícerozměrné pole hodnot | AI slovník

Odborná definice

Tensor je datová struktura predstavujúca n-rozmerné pole prvků stejného datového typu spolu s tvarem, rozložením v pameti a často i informací o zařízení a potrebe gradientu. Skalár je tensor rádu nula, vektor rádu jedna a matice rádu dva. V AI se tensory používají na vstupy, parametry, aktivace i gradienty. Matematický pojem tensor je širší, zatímco knižnice strojového učení týmto slovem často označují praktické vícerozměrné pole. Operace s broadcastom musí být skontrolované, protože platný tvar může vytvořit numericky nesprávný výsledek bez chyby runtime.

Srozumitelné vysvětlení

Obraz lze uložit jako blok čísel s rozmermi výška, šířka a barevný kanál. Dávka obrazů přidá další rozměr. Takový blok je tensor a knihovna nad ním provádí stejnou operaci najednou na mnoha prvkoch. Tvar určuje význam osí a datový typ ovlivňuje přesnost i paměť. Dvě pole s stejným počtem hodnot nemusí být zamenitelné, pokud mají jiné pořadí rozměrů. Chyby tvaru proto patří mezi nejčastěji implementačné problémy neuronových sítí. V debug výstupu se proto sleduje nejen hodnota, ale i shape, dtype, device a pořadí osí.

Časté otázky

Jaký je rozdíl mezi tensorom a maticou?

Matice má dvě osi. Tensor v programovacích knižniciach může mít libovolný počet osí, včetně nuly nebo jedné. Operace se riadia tvarem a pravidly broadcastingu.

Co znamená shape tensora?

Shape je usporiadaná n-tica velkostí jednotlivých osí. Při textu může jít například o dávku, délku sekvence a rozměr embeddingu.

Co je stride?

Stride určuje, o kolik pameťových prvků se je třeba posunout při pohybe o jednu pozici na dané osi. Ovlplyvňuje, zda je tensor v pameti súvislý.

Proč tensor nese informaci o dtype?

Datový typ určuje rozsah, přesnost, paměť a podporované operace. Float32, bfloat16, float16 a int8 mají odlišné numerické i výkonnostné vlastnosti.

Jako tensor souvisí s automatickou diferenciací?

Framework může k operáciám s tensorom vytvářet výpočetní graf. Pokud tensor vyžaduje gradient, spetný průchod vypočítá derivaci ztráty podle jeho hodnot.

Související pojmy

Zdroje a redakční stopa

PyTorch Tensor documentation
PyTorch Tensors tutorial

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.