Odborná definícia
Odborná definícia
XLA je open source kompilátor pre strojové učenie, ktorý optimalizuje výpočty lineárnej algebry pre CPU, GPU a ďalšie akcelerátory. Framework odovzdá výpočtový graf v high-level operations, kompilátor vykoná transformácie, fúziu operácií, plánovanie pamäte a generovanie cieľového kódu. Kompilácia môže znížiť počet kernel launchov a medzivýsledkov, ale prináša čas kompilácie a obmedzenia podporovaných operácií. XLA nie je model ani runtime rozhranie používateľa. Výkonnostný prínos závisí od tvarov tenzorov, dynamiky grafu, backendu a veľkosti dávky.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model často spúšťa dlhý rad malých matematických operácií. Každá môže zapisovať medzivýsledok do pamäte a znovu ho načítať. XLA dostane väčší opis výpočtu a pokúsi sa kroky spojiť, presunúť alebo naplánovať tak, aby zariadenie pracovalo efektívnejšie. Je to podobné optimalizátoru v kompilátore programov. Pri prvom tvare vstupu môže kompilácia trvať dlhšie, no opakované spustenia môžu byť rýchlejšie a pamäťovo úspornejšie. Pri produkcii je vhodné sledovať počet kompilovaných variantov, aby dynamické vstupy nezaplnili cache.
Časté otázky
Časté otázky
Čo znamená HLO v XLA?
High Level Operations je medzireprezentácia výpočtov, nad ktorou XLA vykonáva analýzy a optimalizačné prechody pred generovaním kódu.
Je XLA rovnaké ako JIT compilation?
XLA je kompilátor, ktorý môže byť použitý v JIT režime aj v ahead-of-time postupoch. JIT opisuje čas kompilácie, nie konkrétny optimalizátor.
Prečo môže prvé spustenie trvať dlho?
Systém vytvára a optimalizuje program pre konkrétne tvary, typy a backend. Náklad sa oplatí najmä pri opakovanom použití skompilovaného variantu.
Čo spôsobuje recompilation?
Zmena tvaru, dtype, statického argumentu alebo riadiacej logiky môže vytvoriť novú špecializáciu. Veľa variantov zvyšuje latenciu aj spotrebu cache.
Zaručí XLA zrýchlenie každého modelu?
Nie. Malé grafy, dynamické operácie, nevhodná fúzia alebo dobre optimalizované natívne kernely môžu priniesť nulový či záporný prínos.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- OpenXLA, XLA Terminology OpenXLA, XLA Architecture
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.