Odborná definícia
Význam a odborné vymedzenie pojmu
Hallucination je výstup generatívneho modelu, ktorý pôsobí jazykovo alebo vizuálne presvedčivo, ale nie je podložený vstupom, dostupným dôkazom ani overiteľnou skutočnosťou. Môže ísť o vymyslený fakt, neexistujúcu citáciu, nesprávne spojenie pravdivých údajov alebo detail doplnený bez opory. NIST používa širší pojem confabulation, pretože model nemá ľudské vedomie ani zmyslovú skúsenosť. Riziko rastie pri nejasnej otázke, chýbajúcom kontexte, zastaraných znalostiach a úlohách, v ktorých sa od modelu očakáva konkrétnosť aj bez dôkazov.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Jazykový model skladá odpoveď podľa pravdepodobných pokračovaní, nie tak, že si najprv otvorí vnútornú encyklopédiu a overí každý údaj. Keď sa ho opýtate na neexistujúci súdny rozsudok, môže vytvoriť názov, spisovú značku aj odôvodnenie, pretože taký text štylisticky zapadá do zadania. Výsledok môže znieť odborne, hoci jeho jadro je vymyslené. Halucinácia teda nie je obyčajná gramatická chyba. Je to zlyhanie vzťahu medzi tvrdením a dôkazom, ktoré sa musí odhaliť kontrolou zdrojov, nie dojmom z plynulosti.
Časté otázky
Otázky, ktoré spresňujú význam
Je každá faktická chyba halucináciou?
Nie vždy. Chyba môže vzniknúť aj zo zastaraného zdroja, nesprávneho výpočtu alebo chybne zadaných dát. Za halucináciu sa typicky označuje najmä tvrdenie, ktoré model vytvorí bez primeranej opory v zadaní, znalostiach alebo pripojenom dôkaze.
Prečo model radšej niečo vymyslí, než prizná neistotu?
Tréning často odmeňuje užitočnú a plynulú odpoveď, zatiaľ čo pravdivostná istota nie je priamo dostupná ako samostatný signál. Ak prompt vyžaduje detail a model nemá spoľahlivý podklad, môže pokračovať najpravdepodobnejšou formuláciou namiesto odmietnutia.
Vyskytujú sa halucinácie iba pri texte?
Nie. Obrazový model môže doplniť anatomicky nemožný detail, multimodálny systém nesprávne opísať objekt a agent môže vytvoriť fiktívny stav nástroja. Spoločným znakom je neodôvodnený obsah, nie konkrétny formát výstupu.
Ako halucinácia súvisí s teplotou generovania?
Vyššia teplota zväčšuje rozmanitosť výberu tokenov a môže zvýšiť variabilitu aj riziko nepodložených detailov. Nízka teplota však pravdivosť negarantuje, pretože model môže konzistentne zopakovať rovnakú nesprávnu odpoveď.
Ktoré použitia sú na halucinácie najcitlivejšie?
Najvyššie následky majú právne, zdravotnícke, finančné, bezpečnostné a vedecké úlohy, pri ktorých jeden vymyslený údaj mení rozhodnutie. Citlivé sú aj systémy s automatickým vykonaním akcie, pretože nesprávne tvrdenie sa môže zmeniť na reálny zásah.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov)
- NIST, Artificial Intelligence Risk Management Framework (nist.gov)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.