Odborná definícia
Význam a odborné vymedzenie pojmu
Vector quantization mapuje spojitý vektor na jeden alebo viac prvkov z konečného codebooku a nahrádza pôvodné hodnoty indexmi alebo centroidmi. Používa sa na kompresiu embeddingov, zrýchlenie podobnostného vyhľadávania a učenie diskrétnych latentných reprezentácií. Product quantization rozdelí vektor na podpriestory a kvantizuje ich samostatne, VQ-VAE učí codebook spolu s encoderom a decoderom. Kvantizácia zavádza distorziu, ktorej vplyv treba merať na recalli, rekonštrukcii alebo downstream úlohe.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Namiesto uloženia každej súradnice s vysokou presnosťou vyberie systém najbližší prototyp z obmedzeného slovníka vektorov. Je to podobné redukcii miliónov farieb obrázka na paletu 256 farieb. Súbor je menší a porovnávanie rýchlejšie, ale jemné rozdiely sa stratia. Pri product quantization sa dlhý vektor rozdelí na časti a každá dostane vlastný kód. Dobré nastavenie zachová susedstvá potrebné pre retrieval, zlé nastavenie môže zameniť dôležité dokumenty za iba približne podobné.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi scalar a vector quantization?
Scalar quantization zaokrúhľuje jednotlivé súradnice. Vector quantization vyberá prototyp pre viacrozmerný blok a môže lepšie využiť korelácie medzi rozmermi.
Čo je product quantization?
Vektor sa rozdelí na menšie podvektory, pre každý sa naučí codebook a výsledok sa uloží ako séria krátkych kódov. Tým sa výrazne zníži pamäť.
Ako kvantizácia ovplyvní vector search?
Zrýchli výpočet a zmenší index, ale približné vzdialenosti môžu znížiť recall. Často sa používa reranking top kandidátov plnými vektormi.
Čo znamená codebook collapse?
V učiacom sa codebooku sa používa iba malá časť prototypov. Reprezentácia potom stráca kapacitu a niektoré kódy zostávajú neaktívne.
Dá sa kvantizácia aplikovať bez retréningu modelu?
Áno pri post-training kompresii uložených embeddingov. Pri diskrétnom latentnom modeli sa však codebook zvyčajne učí spoločne s encoderom.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- FAISS, Product quantization research foundations Neural Discrete Representation Learning, VQ-VAE
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.