Inference bez kopírování dat | AI slovník

Odborná definice

Zero-copy inference je implementačný přístup, při kterém vstupní nebo výstupní tenzory procházejí mezi komponenty inferenčního systému bez zbytočného kopírování jejich obsahu do nového pameťového prostoru. Komponenty si odovzdají pohlad, ukazovatel, buffer nebo handle na zdielanou CPU či GPU paměť. Cílem je snížit latenci, spotrebu pameťovej propustnosti a špičkovou alokaci. Skutečný přínos závisí na kompatibility zařízení, formátu, zarovnání, životnosti bufferu a synchronizace.

Srozumitelné vysvětlení

Běžný pipeline může obraz skopírovat z aplikace do servera, ze servera do předzpracování a potom na GPU. Při velkých dávkách stojí přesun více času než samotná predikce. Zero-copy se snaží, aby další krok pracoval s tím istým bufferom. To však neznamená, že žiadny přenos nikdy nenastane, data stále mohou muset projít přes Pcie nebo síť. Název popisuje odstranění konkrétní redundantnej kopie, proto je třeba profilovat celý tok a ověřit vlastníctvo i synchronizaci paměti.

Časté otázky

Je zero-copy vždy rychleji?

Ne. Při malých tenzoroch může réžia správy zdielanej paměti prevýšit úsporu. Rozhoduje měření end-to-end latence a propustnosti.

Co je potřeba na GPU?

Kompatibilný typ paměti nebo IPC mechanismus, správně zařízení, synchronizace streamů a záruka, že buffer zůstane platný během výpočtu.

Jaké bezpečnostní riziko vzniká?

Zdielaný buffer může odhalit cudzie data nebo se prepísat během používání. Potřebné jsou hranice procesu, oprávnění a řízení životního cyklu.

Jako zjistit skryté kopírování?

Používá se profiler CPU, GPU a pameťových prenosů. API může deklarovat sdílení, ale interná konverze layoutu či dtype stále vytvoří kopii.

Souvisí to s batchováním?

Ano. Dynamické batchování může vyžadovat zlučování tenzorů do nového bufferu, čím se nulové kopírování komplikuje nebo částečně ruší.

Související pojmy

Zdroje a redakční stopa

NVIDIA Triton, shared-memory extension

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.