Vision-language model

Vision-language model je multimodálny model, ktorý spoločne spracúva obraz a text a vykonáva opis, otázky, vyhľadávanie alebo generovanie medzi modalitami.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa hodnotí podľa vhodnosti pre úlohu, kvality dát, generalizácie, nákladov a prevádzkových obmedzení.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá generalizácia, zmena dát, halucinovaný alebo nepresný výstup a neprimerané náklady. Model treba priebežne merať, verziovať a používať iba v overenom rozsahu.

Vision-language model sa od pojmov Variational autoencoder, Voting classifier, Value function odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.