Odborná definícia
Odborná definícia
Dynamické dávkovanie je technika serverovania modelov, pri ktorej sa samostatné inferenčné požiadavky na krátky čas zhromaždia a spoja do jednej výpočtovej dávky. Server priebežne volí veľkosť dávky podľa príchodov, maximálnej čakacej doby, dĺžky vstupov a dostupnej pamäte. Cieľom je zvýšiť priepustnosť a využitie akcelerátora bez neprimeraného nárastu latencie. Pri sekvenčných modeloch musí systém riešiť padding, rozdielnu dĺžku generovania, priority a férovosť medzi krátkymi a dlhými požiadavkami.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
GPU spracuje maticu mnohých požiadaviek efektívnejšie než sériu jednotlivých malých výpočtov. Dynamické dávkovanie preto chvíľu počká, spojí súčasne prichádzajúce požiadavky a odošle ich modelu naraz. Čakanie však nesmie byť príliš dlhé, inak používateľ pocíti oneskorenie. Pri generovaní textu je situácia zložitejšia, pretože jedna odpoveď skončí po desiatich tokenoch a iná po tisícke. Moderný serving preto priebežne dopĺňa a uvoľňuje pozície v dávke.
Časté otázky
Časté otázky
Ako dynamické dávkovanie zvyšuje výkon?
Znižuje režijné náklady na jednu požiadavku a lepšie využíva paralelné maticové operácie akcelerátora, čím rastie počet spracovaných vstupov za sekundu.
Aký je kompromis medzi latenciou a priepustnosťou?
Dlhšie čakanie umožní väčšiu dávku a vyššiu priepustnosť, ale zvyšuje čas odpovede. Limit sa volí podľa SLA a vzoru prevádzky.
Čo je continuous batching?
Pri generovaní sekvencií server priebežne pridáva nové požiadavky do uvoľnených miest namiesto čakania, kým skončí celá pôvodná dávka.
Prečo sa vstupy zoskupujú podľa dĺžky?
Podobné dĺžky znižujú padding a nevyužité výpočty. Pri veľmi rozdielnych vstupoch krátke požiadavky platia náklady za najdlhšiu položku v dávke.
Môže dávkovanie poškodiť prioritu kritickej požiadavky?
Áno. Serving musí podporovať priority, maximálnu čakaciu dobu a oddelené fronty, aby objemné úlohy neblokovali časovo citlivé rozhodnutia.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.