Detekce halucinací | AI slovník

Odborná definice

Hallucination detection je soubor postupů, které určují, či generovaný výstup obsahuje tvrzení bez dostatočnej opory. Detektor může porovnávat odpověď se zdrojovým textem, databázou nebo výsledkem nástroje, vyhodnocovat logickou podporu mezi důkazem a tvrdením, hladat neexistujúce entity nebo testovat konzistentnost opakovaných generování. Úloha se liší od obecné kontroly kvality, protože musí lokalizovat konkrétní nepodloženou část. Výsledek je často pravděpodobnostní skóre, které závisí na dostupnosti autoritatívneho referenčního materiálu a od granularity tvrzení.

Srozumitelné vysvětlení

Představte si redaktora, který nehodnotí, či odpověď zní pekne, ale rozdělí ji na overitelné výroky. Při vete o výrobku zkontroluje cenu v katalógu, technický parameter v dokumentaci a datum uvedení v registri. Každé tvrzení potom označí jako podporené, protirečivé nebo neoveritelné. Automatický detektor se pokúša dělat podobnou práci pomocí vyhledávání, modelu na posouzení důkazů nebo pravidel. Pokud však dostane neúplný korpus, může správný údaj vyhlásit za nepodložený pouze proto, že důkaz neviděl.

Časté otázky

Co je základnou jednotkou detekce halucinace?

Najpraktickejšou jednotkou je atomické tvrzení, které lze samostatně ověřit. Celý odsek může obsahovat štyri správně údaje a jednu vymyslenou větu, proto binární hodnocení celé odpovědi skrýva místo selhání.

Může jeden jazykový model kontrolovat druhý?

Ano, model může extrahovat tvrzení, vyhladat důkazy nebo posoudit podporu. Takový sudca však může zdielat stejné chyby, podliehat formulaci promptu a nesprávně hodnotit odborný obsah, proto potřebuje kalibraci a nezávislé testy.

Jak se měří úspěšnost detektora?

Používá se přesnost, recall, F1, kalibrace skóre a výkon po typoch tvrzení. Důležité je oddělit falešné poplachy od přehlédnutých halucinací, protože jejich náklady se v medicíne, zákazníckej podpoře a kreatívnom písaní výrazně liší.

Proč je detekce citací samostatný problém?

Citace může existovat, ale nemusí podporovat priradené tvrzení. Kontrola proto ověřuje identitu zdroje, správnost bibliografických údajů, relevantní pasáž a vztah mezi pasážou a záverom, ne pouze přítomnost odkazu.

Kdy se má výstup poslat člověku?

Eskalace je vhodná při nízké istote detektora, konflikte zdrojů, vysokém dopade rozhodnutí nebo při tvrdeniach vyžadujúcich odbornost. Práh se nastavuje podle rizika, ne podle pohodlia prevádzkovatela.

Související pojmy

Zdroje a redakční stopa

NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov) Min a kol., FActScore (arxiv.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.