Halucinace modelu | AI slovník

Odborná definice

Hallucination je výstup generativního modelu, který působí jazykovo nebo vizuálně presvedčivo, ale není podložený vstupem, dostupným důkazem ani overitelnou skutočností. Může jít o vymyslený fakt, neexistujúcu citaci, nesprávně spojení pravdivých údajů nebo detail doplnený bez opory. NIST používá širší pojem confabulation, protože model nemá lidské vedomie ani zmyslovou zkušenost. Riziko roste při nejasnej otázce, chybějícím kontextu, zastaraných znalostech a úlohách, ve kterých se od modelu očekává konkrétnost i bez důkazů.

Srozumitelné vysvětlení

Jazykový model skládá odpověď podle pravdepodobných pokračování, ne tak, že si nejprve otevře vnitřní encyklopédiu a ověří každý údaj. Když se ho opýtate na neexistujúci súdny rozsudok, může vytvořit název, spisovou značku i odůvodnení, protože takový text štylisticky zapadá do zadání. Výsledek může znieť odborne, ačkoli jeho jádro je vymyslené. Halucinace tedy není obyčajná gramatická chyba. Je to selhání vztahu mezi tvrdením a důkazem, které se musí odhalit kontrolou zdrojů, ne dojmom z plynulosti.

Časté otázky

Je každá faktická chyba halucinací?

Ne vždy. Chyba může vzniknout i ze zastaraného zdroje, nesprávneho výpočtu nebo chybne zadaných dat. Za halucinaci se typicky označuje zejména tvrzení, které model vytvoří bez primeranej opory v zadaní, znalostech nebo pripojenom důkaze.

Proč model raději něco vymyslí, než prizná nejistotu?

Trénink často odmeňuje užitočnou a plynulou odpověď, zatímco pravdivostná istota není přímo dostupná jako samostatný signál. Pokud prompt vyžaduje detail a model nemá spolehlivý podklad, může pokračovat najpravdepodobnejšou formulací místo odmítnutí.

Vyskytují se halucinace pouze při textu?

Ne. Obrazový model může doplnit anatomicky nemožný detail, multimodální systém nesprávně popsat objekt a agent může vytvořit fiktívny stav nástroje. Spoločným znakom je neodůvodnený obsah, ne konkrétní formát výstupu.

Jako halucinace souvisí s teplotou generování?

Vyšší teplota zvečšuje rozmanitost výběru tokenů a může zvýšit variabilitu i riziko nepodložených detailů. Nízká teplota však pravdivost negarantuje, protože model může konzistentne zopakovat stejnou nesprávnu odpověď.

Které použití jsou na halucinace najcitlivejšie?

Nejvyšší následky mají právně, zdravotnícke, finančné, bezpečnostní a vedecké úlohy, při kterých jeden vymyslený údaj mění rozhodnutí. Citlivé jsou i systémy s automatickým vykonáním akce, protože nesprávně tvrzení se může změnit na reálný zásah.

Související pojmy

Zdroje a redakční stopa

NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov)
NIST, Artificial Intelligence Risk Management Framework (nist.gov)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.