K-nearest neighbor search, definícia a použitie | AI slovník

Odborná definícia

K-nearest neighbor search je výpočtová úloha nájsť pre dotazový bod k objektov s najmenšou vzdialenosťou alebo najväčšou podobnosťou v referenčnej kolekcii. Presné riešenie garantuje skutočných susedov podľa danej metriky, aproximované riešenie obetuje časť recallu za nižšiu latenciu a pamäť. Implementácia môže používať brute force, stromové indexy, grafové štruktúry, kvantizáciu alebo kombinované filtre. Top k je definované voči konkrétnemu indexu, metrike a verzii vektorovej reprezentácie.

Zrozumiteľné vysvetlenie

Pri otázke používateľa sa vytvorí embedding a systém potrebuje nájsť päť najpodobnejších dokumentových úsekov. Samotné vyhľadávanie ešte nič neklasifikuje a negeneruje, iba vráti kandidátov podľa geometrie indexu. Pri miliónoch vektorov by porovnanie so všetkými bolo pomalé, preto index preskakuje väčšinu priestoru. Ak je nastavený príliš agresívne, najlepší úsek sa nemusí dostať medzi výsledky, hoci odpoveďový model funguje správne. Retrieval tím preto meria zvlášť kvalitu embeddingu, indexu, filtrov a finálneho poradia.

Časté otázky

Aký je rozdiel medzi presným a aproximovaným vyhľadávaním?

Presné prehľadávanie garantuje top k podľa metriky, ale môže byť drahé. Approximate nearest neighbor index zrýchľuje dotaz a šetrí zdroje výmenou za možnosť, že niektorý skutočný sused nebude vrátený.

Čo znamená recall@k pri susedskom vyhľadávaní?

Porovnáva, koľko skutočných top k susedov z presného výpočtu našla aproximovaná metóda. Meria kvalitu indexu, nie relevanciu pre používateľa, preto sa má doplniť aplikačnou retrieval metrikou.

Kedy sú KD-tree a BallTree účinné?

Pri nižšej alebo strednej dimenzionalite a vhodnej metrike dokážu vylúčiť veľké časti priestoru. Vo veľmi vysokých dimenziách sa ich výhoda často stráca a používajú sa grafové alebo kvantizačné ANN indexy.

Ako filtre menia vyhľadávanie?

Podmienka na jazyk, oprávnenie, dátum alebo typ dokumentu obmedzí prípustných kandidátov. Filter môže prebehnúť pred vektorovým dotazom, po ňom alebo integrovane, pričom každá stratégia mení latenciu aj recall.

Prečo sa musí verzovať embeddingový model spolu s indexom?

Vektory z rôznych modelov alebo verzií nemusia zdieľať rovnaký priestor. Po zmene embeddingu treba kolekciu prepočítať alebo oddeliť indexy, inak podobnostné skóre stratí interpretáciu.

Súvisiace pojmy

Zdroje a redakčná stopa

scikit-learn, Nearest Neighbors
scikit-learn, NearestNeighbors

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.