Odborná definícia
Odborná definícia
Zero-shot image classification priraďuje obraz k triedam definovaným textom bez optimalizácie modelu na označených obrázkoch týchto tried. Vision-language model zakóduje obraz a textové prompty do spoločného priestoru, vypočíta podobnosť a zvolí najbližšiu reprezentáciu. Pri CLIP sa pre každú triedu často používa viac promptových šablón a ich embeddingy sa agregujú. Výkon závisí od názvov tried, domény, jazyka, kalibrácie teploty a od prekryvu medzi predtrénovacími dátami a testom.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Namiesto novej klasifikačnej hlavy pripravíte texty ako fotografia mačky, fotografia psa a röntgen pľúc. Model porovná vizuálny embedding s každým textovým embeddingom. Je to flexibilné, pretože triedy možno meniť bez tréningu, no text je zároveň súčasťou modelu. Odborný názov, skratka a bežné pomenovanie môžu viesť k rozdielnym skóre. Pri medicíne alebo priemysle nemusí webové predtrénovanie zachytiť jemné diagnostické znaky, preto sa výsledok nesmie zameniť za validovaný odborný klasifikátor.
Časté otázky
Časté otázky
Prečo sa používa prompt ensembling?
Viac prirodzených šablón znižuje citlivosť na jednu formuláciu a vytvára stabilnejšiu textovú reprezentáciu triedy.
Musí byť zoznam tried uzavretý?
Pre konkrétny výpočet áno, skóre sa porovnáva medzi zadanými kandidátmi. Zoznam možno meniť pri každom volaní.
Je najvyššie skóre pravdepodobnosť?
Nie automaticky. Softmax nad podobnosťami je relatívny voči zvoleným triedam a nemusí byť kalibrovaný ako reálna pravdepodobnosť správnosti.
Ako riešiť hierarchické triedy?
Možno použiť viacúrovňové prompty alebo najprv širokú a potom jemnú klasifikáciu, pričom sa validuje konzistentnosť medzi úrovňami.
Čo testovať pred nasadením?
Doménové obrázky, alternatívne názvy, out-of-distribution vstupy, citlivosť na pozadie a výkon na podskupinách relevantných používateľov.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- OpenAI, CLIP
- OpenAI CLIP repository
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.