Vector quantization, definícia a použitie | AI slovník

Odborná definícia

Vector quantization mapuje spojitý vektor na jeden alebo viac prvkov z konečného codebooku a nahrádza pôvodné hodnoty indexmi alebo centroidmi. Používa sa na kompresiu embeddingov, zrýchlenie podobnostného vyhľadávania a učenie diskrétnych latentných reprezentácií. Product quantization rozdelí vektor na podpriestory a kvantizuje ich samostatne, VQ-VAE učí codebook spolu s encoderom a decoderom. Kvantizácia zavádza distorziu, ktorej vplyv treba merať na recalli, rekonštrukcii alebo downstream úlohe.

Zrozumiteľné vysvetlenie

Namiesto uloženia každej súradnice s vysokou presnosťou vyberie systém najbližší prototyp z obmedzeného slovníka vektorov. Je to podobné redukcii miliónov farieb obrázka na paletu 256 farieb. Súbor je menší a porovnávanie rýchlejšie, ale jemné rozdiely sa stratia. Pri product quantization sa dlhý vektor rozdelí na časti a každá dostane vlastný kód. Dobré nastavenie zachová susedstvá potrebné pre retrieval, zlé nastavenie môže zameniť dôležité dokumenty za iba približne podobné.

Časté otázky

Aký je rozdiel medzi scalar a vector quantization?

Scalar quantization zaokrúhľuje jednotlivé súradnice. Vector quantization vyberá prototyp pre viacrozmerný blok a môže lepšie využiť korelácie medzi rozmermi.

Čo je product quantization?

Vektor sa rozdelí na menšie podvektory, pre každý sa naučí codebook a výsledok sa uloží ako séria krátkych kódov. Tým sa výrazne zníži pamäť.

Ako kvantizácia ovplyvní vector search?

Zrýchli výpočet a zmenší index, ale približné vzdialenosti môžu znížiť recall. Často sa používa reranking top kandidátov plnými vektormi.

Čo znamená codebook collapse?

V učiacom sa codebooku sa používa iba malá časť prototypov. Reprezentácia potom stráca kapacitu a niektoré kódy zostávajú neaktívne.

Dá sa kvantizácia aplikovať bez retréningu modelu?

Áno pri post-training kompresii uložených embeddingov. Pri diskrétnom latentnom modeli sa však codebook zvyčajne učí spoločne s encoderom.

Súvisiace pojmy

Zdroje a redakčná stopa

FAISS, Product quantization research foundations Neural Discrete Representation Learning, VQ-VAE

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.