vektorová kvantizace | AI slovník

Odborná definice

Vector quantization mapuje spojitý vektor na jeden nebo více prvků z konečného codebooku a nahrazuje původní hodnoty indexmi nebo centroidmi. Používá se na kompresi embeddingů, zrychlení podobnostného vyhledávání a učení diskrétnych latentných reprezentací. Product quantization rozdělí vektor na podpriestory a kvantizuje jejich samostatně, VQ-VAE učí codebook spolu s encoderem a decoderom. Kvantizace zavádí distorzi, které vliv je třeba měřit na recalli, rekonštrukcii nebo downstream úloze.

Srozumitelné vysvětlení

Místo uložení každé souřadnice s vysokou přesností vybere systém najbližší prototyp z obmedzeného slovníka vektorů. Je to podobné redukcii milionů farieb obrázku na paletu 256 farieb. Soubor je menší a porovnávání rychleji, ale jemné rozdíly se stratia. Při product quantization se dlouhý vektor rozdělí na části a každá dostane vlastní kód. Dobré nastavení zachová susedstvá potřebné pro retrieval, zlé nastavení může zaměnit důležité dokumenty za pouze přibližně podobné.

Časté otázky

Jaký je rozdíl mezi scalar a vector quantization?

Scalar quantization zaokrúhluje jednotlivé souřadnice. Vector quantization vybírá prototyp pro vícerozměrný blok a může lépe využit korelace mezi rozmermi.

Co je product quantization?

Vektor se rozdělí na menší podvektory, pro každý se naučí codebook a výsledek se uloží jako série krátkych kódů. Tím se výrazně sníží paměť.

Jako kvantizace ovlivní vector search?

Zrýchli výpočet a zmenší index, ale přibližné vzdálenosti mohou snížit recall. Často se používá reranking top kandidátů plnými vektory.

Co znamená codebook collapse?

V učiacom se codebooku se používá pouze malá část prototypů. Reprezentace potom ztrácí kapacitu a některé kódy zůstávají neaktívne.

Lze kvantizace aplikovat bez retréningu modelu?

Ano při post-training kompresii uložených embeddingů. Při diskrétnom latentním modeli se však codebook obvykle učí společně s encoderem.

Související pojmy

Zdroje a redakční stopa

FAISS, Product quantization research foundations Neural Discrete Representation Learning, VQ-VAE

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.