Vektorová reprezentace obrázku | AI slovník

Odborná definice

Image embedding je číselný vektor, který komprimuje vizuálně vlastnosti obrázku do latentního prostoru vhodného na porovnávání, klasifikaci nebo vyhledávání. Enkóder mapuje pixely na pevný nebo strukturovaný počet hodnot tak, aby sémanticky podobné obrazy měli podle zvolené metriky blízké reprezentace. Embedding může opisovat celý obrázek, jednotlivý region nebo patch. Jeho význam závisí na tréninkového cíle, dat a normalizace. Vektor není univerzální popis reality, může zvýrazňovat objekty, styl, textúru či textový soulad a zároveň potláčat detaily důležité pro jinou úlohu.

Srozumitelné vysvětlení

Dvě fotografie stejného výrobku mohou mít jiné pozadí, uhol a osvetlení. Obrazový enkóder jejich převede na dlouhé zoznamy čísel, které skončia blízko sebe, pokud se model naučil rozpoznávat identitu produktu. Vyhladávač potom nemusí porovnávat každý pixel, ale hledá nejbližší vektory v databázi. Pokud byl enkóder trénovaný na umelecký styl, může za podobné považovat obrazy s stejnou paletou, ne s stejným predmetom. Před použitím je třeba proto testovat, co vzdálenost v konkrétním embeddingovom prostoru skutečně zachycuje.

Časté otázky

Jak se porovnává dvojica image embeddingů?

Běžně se používá kosínusová podobnost, skalárny součin nebo euklidovská vzdálenost. Volba musí odpovídat tréninku a normalizaci, jinak pořadí nejbližších sousedů nemusí mít očekávaný význam.

Čím se liší globální a lokální embedding?

Globální vektor sumarizuje celý obrázek. Lokálně reprezentace opisují regiony nebo patche a lépe podporují lokalizaci, porovnávání detailů či vyhladání objektu v zložitej scéne.

Může jeden prostor obsahovat obrázky i text?

Ano, multimodální kontrastívny trénink může zosúladit obrazový a textový enkóder. Potom lze vyhladat fotografii slovným popisem nebo najít titulok zodpovedajúci vizuálnemu obsahu.

Jak se zistí, že embedding ignoruje důležitý znak?

Vytvoří se páry nebo skupiny, které se liší pouze sledovanou vlastností, a měří se jejich vzdálenost. Pomáhají retrieval testy, lineární sondy, vizualizace sousedů a hodnocení na doménových případech.

Jaké riziko přináší uložení obrazových vektorů?

Embedding může uchovávat informaci o identite, zdravotnom stave nebo jiném citlivom znaku, i když původní obrázek není přímo dostupný. Přístup, retenčná doba a možnost zpětného odhadu se musí posoudit.

Související pojmy

Zdroje a redakční stopa

Radford a kol., Learning Transferable Visual Models From Natural Language Supervision (arxiv.org)
Google Cloud, Multimodal embeddings (cloud.google.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.