Odborná definícia
Význam a odborné vymedzenie pojmu
Contrastive learning je spôsob učenia reprezentácií, pri ktorom sa model učí približovať embeddingy pozitívnych párov a oddeľovať embeddingy negatívnych alebo nesúvisiacich príkladov. Pozitívny pár môže vzniknúť dvoma augmentáciami toho istého obrazu, zodpovedajúcim textom a obrázkom alebo dvoma pohľadmi na tú istú entitu. Výsledok závisí od definície párov, augmentácií, batchu, teploty a kontrastívnej straty. Cieľom nie je priamo predikovať triedu, ale vytvoriť priestor, ktorý možno použiť na retrieval, clustering alebo fine-tuning.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Z jednej fotografie vytvoríte dva mierne odlišné pohľady, napríklad orez a zmenu jasu. Model sa učí umiestniť ich blízko seba, pretože zobrazujú ten istý objekt, a ďalej od iných fotografií. Postupne prestane závisieť od nepodstatných zmien a zachytí užitočnejšie vlastnosti. Pri texte môže byť pozitívnym párom otázka a správna odpoveď. Ak však augmentácia odstráni význam alebo negatívny príklad je v skutočnosti podobný, tréning dá modelu chybný signál. Návrh párov je preto jadrom metódy.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je pozitívny pár?
Dve reprezentácie, ktoré majú byť v embeddingovom priestore blízko. Môžu pochádzať z toho istého objektu po augmentácii, z prekladu tej istej vety alebo z obrázka a jeho popisu. Správna definícia závisí od invariantnosti potrebnej v cieľovej úlohe.
Na čo slúžia negatívne príklady?
Vytvárajú tlak, aby sa nesúvisiace reprezentácie nezrútili do rovnakého bodu. Niektoré metódy používajú veľký batch alebo memory bank, iné sa explicitným negatívom vyhýbajú. Falošné negatíva môžu odďaľovať semanticky príbuzné položky.
Prečo je data augmentation kritická?
Určuje, ktoré zmeny má reprezentácia ignorovať. Pri obraze môže byť rozumný crop a farba, no otočenie číslice 6 na 9 zmení triedu. Augmentácia musí zachovať význam cieľovej úlohy, inak sa model učí nesprávnu invariantnosť.
Ako sa kontrastívny model hodnotí?
Často lineárnym probe na zmrazených embeddingoch, k-nearest neighbors, retrieval recallom alebo výkonom po fine-tuningu. Samotná tréningová strata nemusí predpovedať kvalitu aplikácie. Test sa vykonáva na dátach bez leakage medzi pozitívnymi pármi.
Používa sa contrastive learning aj multimodálne?
Áno. Model môže približovať textový popis a zodpovedajúci obrázok a oddeľovať nesprávne dvojice. Tak vznikne spoločný priestor pre textové vyhľadávanie obrázkov alebo zero-shot klasifikáciu. Kvalita párov a reprezentatívnosť jazykov ovplyvnia výsledné schopnosti.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Chen a kol., A Simple Framework for Contrastive Learning of Visual Representations
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.