Natural language inference, definícia a použitie | AI slovník

Odborná definícia

Natural language inference, skrátene NLI, je úloha, pri ktorej model určuje logický vzťah medzi premisou a hypotézou. Typické triedy sú entailment, keď hypotéza z premisy vyplýva, contradiction, keď je s ňou nezlučiteľná, a neutral, keď premisa neposkytuje dostatok informácií. NLI datasety testujú lexikálne, syntaktické a kontextové uvažovanie, no model môže využívať aj anotátorské skratky. V aplikáciách sa NLI používa pri kontrole konzistencie, filtrovaní tvrdení a hodnotení podpory odpovede zdrojom.

Zrozumiteľné vysvetlenie

Ak premisa znie „Všetci účastníci podpísali zmluvu“ a hypotéza „Jana podpísala zmluvu“, výsledok závisí od toho, či vieme, že Jana bola účastníčkou. Bez tejto informácie je vzťah neutrálny, nie automaticky pravdivý. NLI núti systém rozlišovať medzi tým, čo text skutočne tvrdí, čo popiera a čo vôbec neurčuje. Pri kontrole odpovedí môže odhadnúť, či citovaný odsek podporuje výrok, ale jeho verdikt nie je formálny dôkaz a môže zlyhať pri číslach, negácii alebo doménovej terminológii.

Časté otázky

Čím sa NLI líši od sentiment analýzy?

Sentiment určuje postoj alebo emocionálnu polaritu textu. NLI porovnáva dva výroky a hodnotí, či medzi nimi existuje vzťah vyplývania, rozporu alebo neurčitosti.

Prečo neutral neznamená, že hypotéza je nepravdivá?

Neutrálna trieda hovorí iba to, že premisa neposkytuje dostatočný dôkaz. Hypotéza môže byť v skutočnom svete pravdivá, ale z daného textu ju nemožno odvodiť.

Ako sa NLI využíva pri RAG systéme?

Model môže porovnať tvrdenia odpovede s vyhľadanými pasážami a označiť nepodporené alebo protirečivé časti. Takýto kontrolný model však treba kalibrovať na konkrétny jazyk, doménu a dĺžku textu.

Aké chyby spôsobuje negácia?

Model môže prehliadnuť slová ako „nie“, „nikdy“ alebo výnimkové podmienky a zameniť podobné vety za entailment. Preto treba mať testy s explicitnou aj implicitnou negáciou.

Je vysoké skóre na SNLI alebo MNLI zárukou logického uvažovania?

Nie. Benchmarky obsahujú jazykové vzory, ktoré môže model využiť bez všeobecnej logiky. Prenos do práva, medicíny alebo slovenčiny vyžaduje samostatnú evaluáciu.

Súvisiace pojmy

Zdroje a redakčná stopa

Stanford Natural Language Inference Corpus MultiNLI

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.