halucinace AI | AI slovník

Odborná definice

AI hallucination, přesněji konfabulace generativního modelu, je výstup, který je nepravdivý, nepodložený nebo neodpovídá poskytnutému zdroju, ačkoli je formulovaný plynulo a presvedčivo. Může jít o vymyslený fakt, citaci, událost, právní predpis, výpočet nebo tvrzení o vykonanej akcii. Jev souvisí s tím, že model generuje pravdepodobné pokračování podle naučených vzorů a nemá zabudovaný obecný mechanismus overování pravdivosti. Při systémech založených na zdrojích se navíc rozlišuje faktická chyba, nesprávná citace a tvrzení bez dostatočnej opory.

Srozumitelné vysvětlení

Jazykový model může vytvořit název studie, autora i číslo strany, které nikdy neexistovali. Nerobí to proto, že by vedome klamal, ale proto, že skládá text, který se statisticky podobá správné odpovedi. Riziko roste při nejasnej otázce, chybějícím zdroji a požadavku na velmi přesný detail. Proto se důležité tvrzení overují v primárnom dokumente, výstup se váže na citované podklady a systém má raději priznat nejistotu než doplňat medzery. Najnebezpečnejšia je situace, když uživatel nemá doménové znalosti a presvedčivou nepravdu proto nemá podle čeho spochybnit.

Časté otázky

Proč model halucinuje i při jednoduché otázce?

Model může mít neúplné nebo konfliktní reprezentace, otázka může být nejednoznačná a generování je optimalizované na pravdepodobnou odpověď, ne na externí ověření. I známy fakt může být skombinovaný s nesprávnym datem nebo jménem. Nižší teplota může snížit variabilitu, ale nezaručí pravdivost. Kritické údaje je třeba ověřovat mimo samotného modelu.

Odstraní RAG halucinace?

RAG může snížit počet nepodložených tvrzení tím, že poskytne relevantní dokumenty, ale nevylučuje chybnou interpretaci, zlý retrieval ani vymyslené propojení mezi pasážami. Systém může citovat správný zdroj při nesprávném tvrzení. Potřebná je kontrola, či odpověď skutečně vyplývá z citovaného textu, a pravidlo odmítnout odpověď při nedostatočných důkazoch.

Jak se halucinace merají?

Používají se datasety s overitelnou pravdou, hodnocení faktickej konzistence vůči zdroju, kontrola citací a ludskí odborní hodnotitelia. Metrika má rozlišovat závažnost, protože chybná štylistická drobnost není stejná jako vymyslená diagnóza nebo finančná suma. Při agentoch se zvlášť měří i nepravdivé tvrzení, že nástroj vykonal akci, která se nestala.

Jako má aplikace komunikovat nejistotu?

Může uvádět použité zdroje, zvýraznit chybějící údaje, oddělit návrh od overeného faktu a umožnit otvorení relevantnej pasáže. Při nízké opore má odpovídat, že informaci neví potvrdit. Vysvětlení nejistoty má být konkrétně, například chybějící dokument nebo konflikt zdrojů, ne pouze obecné upozornení, že AI se může mýliť.

Které použití jsou na halucinace najcitlivejšie?

Vysoké riziko mají medicína, právo, finance, bezpečnost, citování výskumu a všechny úlohy, kde se výstup automaticky provede bez kontroly. I marketingový text může způsobit škodu, pokud obsahuje vymyslené certifikace nebo vlastnosti produktu. Citlivost závisí na následku chyby, možnosti ověření a toho, či uživatel dokáže rozpoznat vierohodnou nepravdu.

Související pojmy

Zdroje a redakční stopa

NIST AI 600-1, Generative AI Profile
OpenAI Help Center, Does ChatGPT tell the truth?

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.