AI hallucination | AI slovník

Odborná definícia

AI hallucination, presnejšie konfabulácia generatívneho modelu, je výstup, ktorý je nepravdivý, nepodložený alebo nezodpovedá poskytnutému zdroju, hoci je formulovaný plynulo a presvedčivo. Môže ísť o vymyslený fakt, citáciu, udalosť, právny predpis, výpočet alebo tvrdenie o vykonanej akcii. Jav súvisí s tým, že model generuje pravdepodobné pokračovanie podľa naučených vzorov a nemá zabudovaný všeobecný mechanizmus overovania pravdivosti. Pri systémoch založených na zdrojoch sa navyše rozlišuje faktická chyba, nesprávna citácia a tvrdenie bez dostatočnej opory.

Zrozumiteľné vysvetlenie

Jazykový model môže vytvoriť názov štúdie, autora aj číslo strany, ktoré nikdy neexistovali. Nerobí to preto, že by vedome klamal, ale preto, že skladá text, ktorý sa štatisticky podobá správnej odpovedi. Riziko rastie pri nejasnej otázke, chýbajúcom zdroji a požiadavke na veľmi presný detail. Preto sa dôležité tvrdenia overujú v primárnom dokumente, výstup sa viaže na citované podklady a systém má radšej priznať neistotu než dopĺňať medzery. Najnebezpečnejšia je situácia, keď používateľ nemá doménové znalosti a presvedčivú nepravdu preto nemá podľa čoho spochybniť.

Časté otázky

Prečo model halucinuje aj pri jednoduchej otázke?

Model môže mať neúplné alebo konfliktné reprezentácie, otázka môže byť nejednoznačná a generovanie je optimalizované na pravdepodobnú odpoveď, nie na externé overenie. Aj známy fakt môže byť skombinovaný s nesprávnym dátumom alebo menom. Nižšia teplota môže znížiť variabilitu, ale nezaručí pravdivosť. Kritické údaje treba overovať mimo samotného modelu.

Odstráni RAG halucinácie?

RAG môže znížiť počet nepodložených tvrdení tým, že poskytne relevantné dokumenty, no nevylučuje chybnú interpretáciu, zlý retrieval ani vymyslené prepojenie medzi pasážami. Systém môže citovať správny zdroj pri nesprávnom tvrdení. Potrebná je kontrola, či odpoveď skutočne vyplýva z citovaného textu, a pravidlo odmietnuť odpoveď pri nedostatočných dôkazoch.

Ako sa halucinácie merajú?

Používajú sa datasety s overiteľnou pravdou, hodnotenie faktickej konzistencie voči zdroju, kontrola citácií a ľudskí odborní hodnotitelia. Metrika má rozlišovať závažnosť, pretože chybná štylistická drobnosť nie je rovnaká ako vymyslená diagnóza alebo finančná suma. Pri agentoch sa osobitne meria aj nepravdivé tvrdenie, že nástroj vykonal akciu, ktorá sa nestala.

Ako má aplikácia komunikovať neistotu?

Môže uvádzať použité zdroje, zvýrazniť chýbajúce údaje, oddeliť návrh od overeného faktu a umožniť otvorenie relevantnej pasáže. Pri nízkej opore má odpovedať, že informáciu nevie potvrdiť. Vysvetlenie neistoty má byť konkrétne, napríklad chýbajúci dokument alebo konflikt zdrojov, nie iba všeobecné upozornenie, že AI sa môže mýliť.

Ktoré použitia sú na halucinácie najcitlivejšie?

Vysoké riziko majú medicína, právo, financie, bezpečnosť, citovanie výskumu a všetky úlohy, kde sa výstup automaticky vykoná bez kontroly. Aj marketingový text môže spôsobiť škodu, ak obsahuje vymyslené certifikácie alebo vlastnosti produktu. Citlivosť závisí od následku chyby, možnosti overenia a toho, či používateľ dokáže rozpoznať vierohodnú nepravdu.

Súvisiace pojmy

Pojem v rozhodovaní

Odborné články, ktoré tento pojem používajú v praxi

Zdroje a redakčná stopa

NIST AI 600-1, Generative AI Profile
OpenAI Help Center, Does ChatGPT tell the truth?

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.