Odborná definícia
Odborná definícia
Vector normalization je transformácia vektora na vopred určenú mierku, najčastejšie na jednotkovú L2 normu. Pri nenulovom vektore sa každý prvok vydelí jeho normou, čím sa zachová smer a odstráni absolútna veľkosť. Po L2 normalizácii sa skalárny súčin dvoch vektorov rovná ich kosínusovej podobnosti. Operácia ovplyvňuje indexovanie, prahy aj tréning metrických modelov. Nulový alebo takmer nulový vektor vyžaduje osobitné ošetrenie, pretože delenie môže vytvoriť nestabilné hodnoty.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Dva embeddingové modely môžu vytvárať šípky s podobným smerom, ale veľmi odlišnou dĺžkou. Ak vyhľadávanie porovnáva surový skalárny súčin, dlhší vektor môže získať výhodu iba svojou mierkou. Normalizácia skráti alebo predĺži všetky šípky na rovnakú dĺžku a nechá rozhodovať smer. To však nie je vždy správne. Niektoré modely používajú normu ako užitočný signál istoty alebo popularity, takže jej odstránenie môže zmeniť význam skóre.
Časté otázky
Časté otázky
Je L2 normalizácia povinná pri cosine similarity?
Vzorec kosínusu normy delí automaticky. Pri indexe založenom na skalárnom súčine sa jednotkové vektory používajú na získanie rovnakého poradia.
Čo sa robí s nulovým vektorom?
Použije sa definované náhradné správanie, malá numerická konštanta alebo sa vstup odmietne. Tiché delenie nulou je chyba.
Má sa normalizovať pred uložením do vektorovej databázy?
Podľa metriky a dokumentácie indexu. Query aj dokumenty musia používať konzistentný postup.
Môže normalizácia poškodiť model?
Áno, ak veľkosť vektora nesie informáciu alebo ak bol model trénovaný s inou geometriou skóre.
Ako súvisí s kvantizáciou?
Normalizácia mení rozsah hodnôt a môže ovplyvniť kvantizačnú chybu. Poradie operácií sa preto verzuje a testuje na finálnom indexe.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- scikit-learn, Normalizer
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.