Učení z kontextu | AI slovník

Odborná definice

In-context learning je schopnost modelu přizpůsobit svoje chování na základě instrukce a příkladů vložených přímo do aktuálního vstupu bez aktualizace parametrů. Prompt může obsahovat popis úlohy, několik dvojic vstup a výstup, formát odpovědi nebo pracovní pravidla. Model využije vzory naučené během předtrénování a v rámci kontextového okna odhadne požadované zobrazení. Nejde o trvalé doučení, proto se informace po skončení požadavky sama nezapíše do váh. Výsledek je citlivý na výběr příkladů, jejich pořadí, formulaci, konflikty a délku kontextu. Schopnost může napodobňovat učení, ačkoli mechanismus zůstává inferenční.

Srozumitelné vysvětlení

Modelu ukážete tri zákaznícke správy a při každé správný štítek, například reklamace, technická otázka nebo fakturace. Při štvrtej správe pokračuje v stejném vzore a vrátí pouze název kategorie. Jeho parametry se přitom nemění. Příklady fungují jako dočasná pracovná špecifikace úlohy. Pokud jeden z nich obsahuje chybu nebo používá jiný formát, model může tento vzor prevziat. Po otvorení nového chatu se ukázky stratia, pokial jejich systém znovu nepridá. Na stabilnou špecializaci se proto in-context learning porovnává s fine tuningom nebo externými nástroji.

Časté otázky

Jaký je rozdíl mezi zero-shot a few-shot promptingom?

Zero-shot poskytne pouze zadání nebo instrukci. Few-shot přidá několik demonstračních příkladů, které ukážu formát, hranice tříd a požadovaný způsob mapování vstupu na výstup.

Mění in-context learning parametry modelu?

Ne při běžném použití. Model vypočítá odpověď podmienenou tokenmi v kontextu, ale nevykoná tréninkový krok. Trvalá změna by vyžadovala fine tuning, pameťový systém nebo jinou aktualizaci.

Proč záleží na poradí příkladů?

Pozornost a recency mohou zvýhodnit některé ukázky, přičemž posledný příklad často silně ovlivní formát. Pořadí může měnit i to, které pravidlo model považuje za dominantné při konflikte.

Jak se vybírají dobré demonštrace?

Mají pokrývat rozhodovací hranice, typické i náročné případy a přesný výstupný formát. Příliš podobné ukázky neposkytnou informaci o výnimkách, náhodné příklady mohou vniesť šum.

Je dlhší kontext vždy lepší?

Ne. Nadbytočné pasáže zvyšují cenu, latenci a riziko, že model prehliadne důležitou instrukci. Relevantnost, struktura a umístění informace bývají důležitější než samotný počet tokenů.

Související pojmy

Zdroje a redakční stopa

Brown a kol., Language Models are Few-Shot Learners (arxiv.org)
Google Machine Learning Glossary, in-context learning (developers.google.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.