Zmírňování halucinací | AI slovník

Odborná definice

Hallucination mitigation označuje opatření, které snižují pravděpodobnost, rozsah nebo následok nepodloženého výstupu. Zahrnuje kvalitnejšie data a trénink, retrieval augmented generation, volání overených nástrojů, omezení odpovědi na dostupný kontext, požadavek na citace, kalibrované odmítnutí, postprodukčnou verifikaci a lidské schválení. Nejde o jednu techniku ani o úplné odstranění javu. Účinnost se musí měřit pro konkrétní doménu, typ otázky a model, protože zásah může znižovat halucinace, ale současně zhoršit úplnost, tvorivosť nebo používatelskou užitečnost.

Srozumitelné vysvětlení

Pokud má asistent odpovídat o interných zmluvách, nestačí mu povedat, aby si nevymýšlal. Systém mu zpřístupní pouze platné dokumenty, vyžiada pasáž ku každému podstatnému tvrzení, při chybějícím důkaze prikáže odpověď odmítnout a rizikový návrh odošle právnikovi. Každá vrstva řeší jinou príčinu selhání. Vyhledávání může přinést zlý dokument, citace může být nesprávně interpretovaná a člověk může přehlédnout chybu. Proto se ochrana skládá z více kontrol a testuje se na reálných scenároch, ne pouze na ukážkových promptoch.

Časté otázky

Je RAG automaticky řešením halucinací?

Ne. RAG dodáva modelu externí kontext, ale vyhladávač může minúť správný dokument a generátor může důkaz skreslit. Je třeba měřit zvlášť retrieval, podporu tvrzení, správnost citací a chování při chýbajúcej odpovedi.

Pomáhá výzva, aby model postupoval krok za krokom?

Může zlepšit řešení některých úloh, ale déle uvažování může vytvořit více nepodložených medziargumentů. Při faktických odpovediach je důležitější pripojení k důkazu a ověření výsledku než samotná výrečnost postupu.

Jak se nastavuje bezpečné odmítnutí?

Model má odmítnout tehdy, když chybí potřebný důkaz nebo istota klesne pod doménový práh. Příliš nízký práh propustí vymyslené odpovědi, příliš vysoký vytvoří množství zbytočných odmietnutí, proto se kalibruje na reprezentatívnych datech.

Může fine tuning snížit halucinace?

Ano, pokud trénink učí správně používat zdroje, priznat nejistotu a respektovat formát. Fine tuning však neaktualizuje spolehlivě všechny fakta a může model naučit sebavedome reprodukovat chyby z tréninkového korpusu.

Co je třeba sledovat po nasazení?

Provoz má evidovat nepodložené tvrzení, typ otázky, použitý zdroj, verzi modelu, zásah kontrolnej vrstvy a následok. Regresní testy se opakují po změně modelu, retrievera, promptu, korpusu i obchodních pravidel.

Související pojmy

Zdroje a redakční stopa

NIST AI 600-1, Generative AI Profile (nvlpubs.nist.gov) Lewis a kol., Retrieval-Augmented Generation (arxiv.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.