Chain of thought prompting, definícia a použitie | AI slovník

Odborná definícia

Chain of thought prompting je technika, pri ktorej prompt obsahuje alebo vyžaduje medzikroky prirodzeného jazyka pred konečnou odpoveďou, aby model lepšie riešil viacstupňové aritmetické, logické alebo symbolické úlohy. Môže používať demonštrácie s vyriešenými postupmi alebo krátku inštrukciu na rozklad problému. Vygenerovaný reťazec nie je spoľahlivým záznamom interného výpočtu ani dôkazom správnosti. Medzikroky môžu byť presvedčivé, no chybné, preto sa výsledok overuje nezávislou kontrolou, nástrojom alebo testom.

Zrozumiteľné vysvetlenie

Pri zložitej slovnej úlohe môže priamy pokyn vyvolať rýchlu, ale chybnú odpoveď. Ukážka, ktorá najprv identifikuje údaje, vykoná čiastkové výpočty a až potom uvedie výsledok, poskytne modelu vzor postupu. To často zlepší výkon na podobných úlohách. Text medzi otázkou a odpoveďou však netreba zamieňať za transparentný pohľad do modelu. Model môže dodatočne vytvoriť logicky znejúci príbeh. V produkcii je bezpečnejšie požadovať stručné overiteľné kroky, citácie alebo výpočty vykonané nástrojom.

Časté otázky

Čo je few-shot chain of thought?

Prompt obsahuje niekoľko príkladov, v ktorých je otázka spojená s medzikrokmi a správnym výsledkom. Model napodobní formu riešenia pri novej úlohe. Kvalita závisí od relevantnosti príkladov, správneho poradia krokov a podobnosti s cieľovým problémom.

Je veta premýšľaj krok za krokom vždy účinná?

Nie. Krátka zero-shot inštrukcia môže pomôcť niektorým modelom a úlohám, inde iba predĺži odpoveď alebo zvýši počet chýb. Účinok treba merať na reprezentatívnej sade a porovnať s priamou odpoveďou, nástrojovým riešením či self-consistency.

Prečo sa chain of thought nepovažuje za auditný záznam?

Vygenerované odôvodnenie môže byť nefaithful, teda nemusí verne vysvetľovať proces, ktorý viedol k odpovedi. Model vie vyrobiť konzistentné zdôvodnenie aj pre nesprávny výsledok. Audit potrebuje vstupy, verziu modelu, nástroje, zdroje a reprodukovateľné kontroly.

Ako chrániť citlivé údaje pri medzikrokoch?

Dlhé odôvodnenie môže zopakovať osobné alebo interné informácie z kontextu. Aplikácia má minimalizovať vstupné dáta, redigovať citlivé polia a neukladať surové rationale bez potreby. Používateľovi možno zobraziť stručné, bezpečné vysvetlenie založené na overiteľných faktoch.

Kedy je lepšie použiť kalkulačku alebo kód?

Keď úloha vyžaduje presnú aritmetiku, spracovanie tabuliek, opakovateľný algoritmus alebo kontrolu obmedzení. Model môže navrhnúť postup a nástroj vykoná výpočet. Takáto kombinácia znižuje závislosť od jazykovo presvedčivých, ale numericky chybných medzikrokov.

Súvisiace pojmy

Zdroje a redakčná stopa

Wei a kol., Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.