Odborná definícia
Význam a odborné vymedzenie pojmu
In-context learning je schopnosť modelu prispôsobiť svoje správanie na základe inštrukcie a príkladov vložených priamo do aktuálneho vstupu bez aktualizácie parametrov. Prompt môže obsahovať opis úlohy, niekoľko dvojíc vstup a výstup, formát odpovede alebo pracovné pravidlá. Model využije vzory naučené počas predtrénovania a v rámci kontextového okna odhadne požadované zobrazenie. Nejde o trvalé doučenie, preto sa informácia po skončení požiadavky sama nezapíše do váh. Výsledok je citlivý na výber príkladov, ich poradie, formuláciu, konflikty a dĺžku kontextu. Schopnosť môže napodobňovať učenie, hoci mechanizmus zostáva inferenčný.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Modelu ukážete tri zákaznícke správy a pri každej správny štítok, napríklad reklamácia, technická otázka alebo fakturácia. Pri štvrtej správe pokračuje v rovnakom vzore a vráti iba názov kategórie. Jeho parametre sa pritom nemenia. Príklady fungujú ako dočasná pracovná špecifikácia úlohy. Ak jeden z nich obsahuje chybu alebo používa iný formát, model môže tento vzor prevziať. Po otvorení nového chatu sa ukážky stratia, pokiaľ ich systém znovu nepridá. Na stabilnú špecializáciu sa preto in-context learning porovnáva s fine tuningom alebo externými nástrojmi.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi zero-shot a few-shot promptingom?
Zero-shot poskytne iba zadanie alebo inštrukciu. Few-shot pridá niekoľko demonštračných príkladov, ktoré ukážu formát, hranice tried a požadovaný spôsob mapovania vstupu na výstup.
Mení in-context learning parametre modelu?
Nie pri bežnom použití. Model vypočíta odpoveď podmienenú tokenmi v kontexte, ale nevykoná tréningový krok. Trvalá zmena by vyžadovala fine tuning, pamäťový systém alebo inú aktualizáciu.
Prečo záleží na poradí príkladov?
Pozornosť a recency môžu zvýhodniť niektoré ukážky, pričom posledný príklad často silno ovplyvní formát. Poradie môže meniť aj to, ktoré pravidlo model považuje za dominantné pri konflikte.
Ako sa vyberajú dobré demonštrácie?
Majú pokrývať rozhodovacie hranice, typické aj náročné prípady a presný výstupný formát. Príliš podobné ukážky neposkytnú informáciu o výnimkách, náhodné príklady môžu vniesť šum.
Je dlhší kontext vždy lepší?
Nie. Nadbytočné pasáže zvyšujú cenu, latenciu a riziko, že model prehliadne dôležitú inštrukciu. Relevantnosť, štruktúra a umiestnenie informácie bývajú dôležitejšie než samotný počet tokenov.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Brown a kol., Language Models are Few-Shot Learners (arxiv.org)
- Google Machine Learning Glossary, in-context learning (developers.google.com)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.