Hallucination mitigation, definícia a použitie | AI slovník

Odborná definícia

Hallucination mitigation označuje opatrenia, ktoré znižujú pravdepodobnosť, rozsah alebo následok nepodloženého výstupu. Zahŕňa kvalitnejšie dáta a tréning, retrieval augmented generation, volanie overených nástrojov, obmedzenie odpovede na dostupný kontext, požiadavku na citácie, kalibrované odmietnutie, postprodukčnú verifikáciu a ľudské schválenie. Nejde o jednu techniku ani o úplné odstránenie javu. Účinnosť sa musí merať pre konkrétnu doménu, typ otázky a model, pretože zásah môže znižovať halucinácie, ale súčasne zhoršiť úplnosť, tvorivosť alebo používateľskú užitočnosť.

Zrozumiteľné vysvetlenie

Ak má asistent odpovedať o interných zmluvách, nestačí mu povedať, aby si nevymýšľal. Systém mu sprístupní iba platné dokumenty, vyžiada pasáž ku každému podstatnému tvrdeniu, pri chýbajúcom dôkaze prikáže odpoveď odmietnuť a rizikový návrh odošle právnikovi. Každá vrstva rieši inú príčinu zlyhania. Vyhľadávanie môže priniesť zlý dokument, citácia môže byť nesprávne interpretovaná a človek môže prehliadnuť chybu. Preto sa ochrana skladá z viacerých kontrol a testuje sa na reálnych scenároch, nie iba na ukážkových promptoch.

Časté otázky

Je RAG automaticky riešením halucinácií?

Nie. RAG dodáva modelu externý kontext, ale vyhľadávač môže minúť správny dokument a generátor môže dôkaz skresliť. Treba merať zvlášť retrieval, podporu tvrdení, správnosť citácií a správanie pri chýbajúcej odpovedi.

Pomáha výzva, aby model postupoval krok za krokom?

Môže zlepšiť riešenie niektorých úloh, no dlhšie uvažovanie môže vytvoriť viac nepodložených medziargumentov. Pri faktických odpovediach je dôležitejšie pripojenie k dôkazu a overenie výsledku než samotná výrečnosť postupu.

Ako sa nastavuje bezpečné odmietnutie?

Model má odmietnuť vtedy, keď chýba potrebný dôkaz alebo istota klesne pod doménový prah. Príliš nízky prah prepustí vymyslené odpovede, príliš vysoký vytvorí množstvo zbytočných odmietnutí, preto sa kalibruje na reprezentatívnych dátach.

Môže fine tuning znížiť halucinácie?

Áno, ak tréning učí správne používať zdroje, priznať neistotu a rešpektovať formát. Fine tuning však neaktualizuje spoľahlivo všetky fakty a môže model naučiť sebavedome reprodukovať chyby z tréningového korpusu.

Čo treba sledovať po nasadení?

Prevádzka má evidovať nepodložené tvrdenia, typ otázky, použitý zdroj, verziu modelu, zásah kontrolnej vrstvy a následok. Regresné testy sa opakujú po zmene modelu, retrievera, promptu, korpusu aj obchodných pravidiel.

Súvisiace pojmy

Zdroje a redakčná stopa

NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov) Lewis a kol., Retrieval-Augmented Generation (arxiv.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.