Odborná definícia
Odborná definícia
Hallucination detection je súbor postupov, ktoré určujú, či generovaný výstup obsahuje tvrdenie bez dostatočnej opory. Detektor môže porovnávať odpoveď so zdrojovým textom, databázou alebo výsledkom nástroja, vyhodnocovať logickú podporu medzi dôkazom a tvrdením, hľadať neexistujúce entity alebo testovať konzistentnosť opakovaných generovaní. Úloha sa líši od všeobecnej kontroly kvality, pretože musí lokalizovať konkrétnu nepodloženú časť. Výsledok je často pravdepodobnostné skóre, ktoré závisí od dostupnosti autoritatívneho referenčného materiálu a od granularity tvrdení.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si redaktora, ktorý nehodnotí, či odpoveď znie pekne, ale rozdelí ju na overiteľné výroky. Pri vete o výrobku skontroluje cenu v katalógu, technický parameter v dokumentácii a dátum uvedenia v registri. Každé tvrdenie potom označí ako podporené, protirečivé alebo neoveriteľné. Automatický detektor sa pokúša robiť podobnú prácu pomocou vyhľadávania, modelu na posúdenie dôkazov alebo pravidiel. Ak však dostane neúplný korpus, môže správny údaj vyhlásiť za nepodložený iba preto, že dôkaz nevidel.
Časté otázky
Časté otázky
Čo je základnou jednotkou detekcie halucinácie?
Najpraktickejšou jednotkou je atomické tvrdenie, ktoré možno samostatne overiť. Celý odsek môže obsahovať štyri správne údaje a jednu vymyslenú vetu, preto binárne hodnotenie celej odpovede skrýva miesto zlyhania.
Môže jeden jazykový model kontrolovať druhý?
Áno, model môže extrahovať tvrdenia, vyhľadať dôkazy alebo posúdiť podporu. Taký sudca však môže zdieľať rovnaké chyby, podliehať formulácii promptu a nesprávne hodnotiť odborný obsah, preto potrebuje kalibráciu a nezávislé testy.
Ako sa meria úspešnosť detektora?
Používa sa presnosť, recall, F1, kalibrácia skóre a výkon po typoch tvrdení. Dôležité je oddeliť falošné poplachy od prehliadnutých halucinácií, pretože ich náklady sa v medicíne, zákazníckej podpore a kreatívnom písaní výrazne líšia.
Prečo je detekcia citácií samostatný problém?
Citácia môže existovať, ale nemusí podporovať priradené tvrdenie. Kontrola preto overuje identitu zdroja, správnosť bibliografických údajov, relevantnú pasáž a vzťah medzi pasážou a záverom, nie iba prítomnosť odkazu.
Kedy sa má výstup poslať človeku?
Eskalácia je vhodná pri nízkej istote detektora, konflikte zdrojov, vysokom dopade rozhodnutia alebo pri tvrdeniach vyžadujúcich odbornosť. Prah sa nastavuje podľa rizika, nie podľa pohodlia prevádzkovateľa.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov) Min a kol., FActScore (arxiv.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.