Zero-shot object detection, definícia a použitie | AI slovník

Odborná definícia

Zero-shot object detection lokalizuje objekty pomocou ohraničujúcich rámcov a priraďuje im triedy, ktoré nemali označené detekčné príklady pri tréningu. Model prepája vizuálne regióny s textovou alebo atribútovou reprezentáciou kandidátnych kategórií. Moderné open-vocabulary detektory využívajú vision-language predtrénovanie a textové dotazy. Úloha je náročnejšia než zero-shot klasifikácia celého obrazu, pretože musí súčasne navrhnúť správny región, oddeliť pozadie a pomenovať objekt.

Zrozumiteľné vysvetlenie

Používateľ zadá názov objektu, napríklad červený hasiaci prístroj, a detektor má nájsť všetky jeho výskyty, hoci pre túto presnú triedu nemal detekčné anotácie. Textový encoder vytvorí reprezentáciu dotazu a obrazová časť hľadá regióny s podobným významom. Výsledok závisí od slovníka, synonym, mierky objektu a od toho, či vizuálna vlastnosť bola zastúpená v širokom predtrénovaní. Falošné rámce sa musia filtrovať prahom a často aj doménovou validáciou.

Časté otázky

Čím sa líši od zero-shot image classification?

Klasifikácia vyberá štítok pre celý obraz. Detekcia musí nájsť počet objektov, ich polohu aj kategóriu.

Čo znamená open-vocabulary detection?

Detektor prijíma flexibilné textové kategórie mimo pevného zoznamu. Pojem sa prekrýva so zero-shot detekciou, ale môže zahŕňať aj triedy s tréningovými príkladmi.

Ako formulovať textový dotaz?

Testujú sa názvy, synonymá a opisné frázy. Príliš všeobecné slovo môže aktivovať širšiu skupinu objektov, než používateľ potrebuje.

Ako sa hodnotí lokalizácia?

Používa sa intersection over union a priemerná presnosť pri zvolených prahoch, samostatne pre seen a unseen kategórie.

Kde je riziko pri bezpečnostnom nasadení?

Neznámy vizuálny kontext, malé objekty alebo nezvyčajné synonymá môžu viesť k prehliadnutiu. Systém potrebuje doménové testy a záložný proces.

Súvisiace pojmy

Zdroje a redakčná stopa

OWL-ViT, Simple Open-Vocabulary Object Detection

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.