Odborná definice
Odborná definice
Zero-shot transfer je použití modelu na nové úloze, datasete, doméně nebo množině tříd bez dalšího učení na označených cílových příkladech. Přenos může být sprostredkovaný prirodzeným jazykem, spoločným embeddingovým prostorem, multitask predtrénováním nebo univerzálnym rozhráním vstup a výstup. Hodnocení musí oddělit skutečný transfer od možnej kontaminace tréninkových dat a má měřit výkon na distribuci, kterou model při príprave neoptimalizoval.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Model se vytrénuje na širokom korpuse a následně se bez dolaďování skúsi na novém benchmarku. Pokud ví názvy tříd nebo popis úlohy prepojit se svojou reprezentací, může podať použitelný výkon. Takový výsledek ukazuje flexibilitu, ne automatickou robustnost. Nový dataset může používat odlišné významy štítků, jiný jazyk nebo skryté pravidla. Proto se zero-shot transfer hodnotí odděleně od fine-tuningu a musí se dokumentovat přesný prompt, preprocessing i verze modelu.
Časté otázky
Časté otázky
Je každý předtrénovaný model schopný zero-shot transferu?
Ne. Potřebuje reprezentaci a rozhraní, které dokážu špecifikovat novou úlohu bez úpravy parametrů.
Jak se liší od domain adaptation?
Domain adaptation obvykle využívá cílové data na přizpůsobení. Zero-shot transfer v čistom nastavení parametry na cílové úloze nemění.
Co je kontaminace benchmarku?
Testové položky nebo jejich blízké varianty se mohli objavit v předtrénování. Výsledek potom není čistým důkazem generalizace.
Má se porovnávat s náhodnou baseline?
Ano, ale i s jednoduchými klasickými modely, retrievalem a few-shot nebo fine-tuned variantom, aby byla hodnota transferu interpretovatelná.
Proč ukladat přesnou šablónu promptu?
I malá změna názvu třídy nebo formulace může výkon výrazně posunout. Bez promptu se experiment nedá reprodukovat.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- OpenAI, CLIP
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.