Odborná definícia
Význam a odborné vymedzenie pojmu
Zero-copy inference je implementačný prístup, pri ktorom vstupné alebo výstupné tenzory prechádzajú medzi komponentmi inferenčného systému bez zbytočného kopírovania ich obsahu do nového pamäťového priestoru. Komponenty si odovzdajú pohľad, ukazovateľ, buffer alebo handle na zdieľanú CPU či GPU pamäť. Cieľom je znížiť latenciu, spotrebu pamäťovej priepustnosti a špičkovú alokáciu. Skutočný prínos závisí od kompatibility zariadenia, formátu, zarovnania, životnosti bufferu a synchronizácie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Bežný pipeline môže obraz skopírovať z aplikácie do servera, zo servera do predspracovania a potom na GPU. Pri veľkých dávkach stojí presun viac času než samotná predikcia. Zero-copy sa snaží, aby ďalší krok pracoval s tým istým bufferom. To však neznamená, že žiadny prenos nikdy nenastane, dáta stále môžu musieť prejsť cez PCIe alebo sieť. Názov opisuje odstránenie konkrétnej redundantnej kópie, preto treba profilovať celý tok a overiť vlastníctvo aj synchronizáciu pamäte.
Časté otázky
Otázky, ktoré spresňujú význam
Je zero-copy vždy rýchlejšie?
Nie. Pri malých tenzoroch môže réžia správy zdieľanej pamäte prevýšiť úsporu. Rozhoduje meranie end-to-end latencie a priepustnosti.
Čo je potrebné na GPU?
Kompatibilný typ pamäte alebo IPC mechanizmus, správne zariadenie, synchronizácia streamov a záruka, že buffer zostane platný počas výpočtu.
Aké bezpečnostné riziko vzniká?
Zdieľaný buffer môže odhaliť cudzie dáta alebo sa prepísať počas používania. Potrebné sú hranice procesu, oprávnenia a riadenie životného cyklu.
Ako zistiť skryté kopírovanie?
Používa sa profiler CPU, GPU a pamäťových prenosov. API môže deklarovať zdieľanie, ale interná konverzia layoutu či dtype stále vytvorí kópiu.
Súvisí to s batchovaním?
Áno. Dynamické batchovanie môže vyžadovať zlučovanie tenzorov do nového bufferu, čím sa nulové kopírovanie komplikuje alebo čiastočne ruší.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NVIDIA Triton, shared-memory extension
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.