Odborná definice
Význam a odborné vymezení pojmu
Vector quantization mapuje spojitý vektor na jeden nebo více prvků z konečného codebooku a nahrazuje původní hodnoty indexmi nebo centroidmi. Používá se na kompresi embeddingů, zrychlení podobnostného vyhledávání a učení diskrétnych latentných reprezentací. Product quantization rozdělí vektor na podpriestory a kvantizuje jejich samostatně, VQ-VAE učí codebook spolu s encoderem a decoderom. Kvantizace zavádí distorzi, které vliv je třeba měřit na recalli, rekonštrukcii nebo downstream úloze.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Místo uložení každé souřadnice s vysokou přesností vybere systém najbližší prototyp z obmedzeného slovníka vektorů. Je to podobné redukcii milionů farieb obrázku na paletu 256 farieb. Soubor je menší a porovnávání rychleji, ale jemné rozdíly se stratia. Při product quantization se dlouhý vektor rozdělí na části a každá dostane vlastní kód. Dobré nastavení zachová susedstvá potřebné pro retrieval, zlé nastavení může zaměnit důležité dokumenty za pouze přibližně podobné.
Časté otázky
Otázky, které upřesňují význam
Jaký je rozdíl mezi scalar a vector quantization?
Scalar quantization zaokrúhluje jednotlivé souřadnice. Vector quantization vybírá prototyp pro vícerozměrný blok a může lépe využit korelace mezi rozmermi.
Co je product quantization?
Vektor se rozdělí na menší podvektory, pro každý se naučí codebook a výsledek se uloží jako série krátkych kódů. Tím se výrazně sníží paměť.
Jako kvantizace ovlivní vector search?
Zrýchli výpočet a zmenší index, ale přibližné vzdálenosti mohou snížit recall. Často se používá reranking top kandidátů plnými vektory.
Co znamená codebook collapse?
V učiacom se codebooku se používá pouze malá část prototypů. Reprezentace potom ztrácí kapacitu a některé kódy zůstávají neaktívne.
Lze kvantizace aplikovat bez retréningu modelu?
Ano při post-training kompresii uložených embeddingů. Při diskrétnom latentním modeli se však codebook obvykle učí společně s encoderem.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- FAISS, Product quantization research foundations Neural Discrete Representation Learning, VQ-VAE
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.