Image embedding, definícia a použitie | AI slovník

Odborná definícia

Image embedding je číselný vektor, ktorý komprimuje vizuálne vlastnosti obrázka do latentného priestoru vhodného na porovnávanie, klasifikáciu alebo vyhľadávanie. Enkóder mapuje pixely na pevný alebo štruktúrovaný počet hodnôt tak, aby sémanticky podobné obrazy mali podľa zvolenej metriky blízke reprezentácie. Embedding môže opisovať celý obrázok, jednotlivý región alebo patch. Jeho význam závisí od tréningového cieľa, dát a normalizácie. Vektor nie je univerzálny popis reality, môže zvýrazňovať objekty, štýl, textúru či textový súlad a zároveň potláčať detaily dôležité pre inú úlohu.

Zrozumiteľné vysvetlenie

Dve fotografie rovnakého výrobku môžu mať iné pozadie, uhol a osvetlenie. Obrazový enkóder ich prevedie na dlhé zoznamy čísel, ktoré skončia blízko seba, ak sa model naučil rozpoznávať identitu produktu. Vyhľadávač potom nemusí porovnávať každý pixel, ale hľadá najbližšie vektory v databáze. Ak bol enkóder trénovaný na umelecký štýl, môže za podobné považovať obrazy s rovnakou paletou, nie s rovnakým predmetom. Pred použitím treba preto testovať, čo vzdialenosť v konkrétnom embeddingovom priestore skutočne zachytáva.

Časté otázky

Ako sa porovnáva dvojica image embeddingov?

Bežne sa používa kosínusová podobnosť, skalárny súčin alebo euklidovská vzdialenosť. Voľba musí zodpovedať tréningu a normalizácii, inak poradie najbližších susedov nemusí mať očakávaný význam.

Čím sa líši globálny a lokálny embedding?

Globálny vektor sumarizuje celý obrázok. Lokálne reprezentácie opisujú regióny alebo patche a lepšie podporujú lokalizáciu, porovnávanie detailov či vyhľadanie objektu v zložitej scéne.

Môže jeden priestor obsahovať obrázky aj text?

Áno, multimodálny kontrastívny tréning môže zosúladiť obrazový a textový enkóder. Potom možno vyhľadať fotografiu slovným opisom alebo nájsť titulok zodpovedajúci vizuálnemu obsahu.

Ako sa zistí, že embedding ignoruje dôležitý znak?

Vytvoria sa páry alebo skupiny, ktoré sa líšia iba sledovanou vlastnosťou, a meria sa ich vzdialenosť. Pomáhajú retrieval testy, lineárne sondy, vizualizácia susedov a hodnotenie na doménových prípadoch.

Aké riziko prináša uloženie obrazových vektorov?

Embedding môže uchovávať informáciu o identite, zdravotnom stave alebo inom citlivom znaku, aj keď pôvodný obrázok nie je priamo dostupný. Prístup, retenčná doba a možnosť spätného odhadu sa musia posúdiť.

Súvisiace pojmy

Zdroje a redakčná stopa

Radford a kol., Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)
Google Cloud, Multimodal embeddings (cloud.google.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.