Odborná definícia
Význam a odborné vymedzenie pojmu
Question answering je úloha, pri ktorej systém prijme otázku a vytvorí alebo vyberie odpoveď z dodaného kontextu, indexu, databázy alebo naučených parametrov. Systém môže byť extraktívny, generatívny, open-domain, closed-domain alebo multimodálny. Dôveryhodná implementácia oddeľuje nájdenie dôkazov od formulácie odpovede, podporuje abstenciu a uchováva provenance. Jazyková plynulosť nepreukazuje, že odpoveď vyplýva zo zdroja alebo že otázka bola zodpovedateľná.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Používateľ sa opýta, dokedy možno odstúpiť od zmluvy. Systém môže nájsť relevantný odsek, vybrať presnú vetu a vysvetliť ju. Ak dokument neobsahuje dátum alebo platí pre inú jurisdikciu, správnym výsledkom môže byť odmietnutie odpovede. Generatívny model má tendenciu prázdne miesto doplniť. Preto sa pri dôležitých otázkach kontroluje, či každý podstatný údaj má oporu v konkrétnom zdroji.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi extractive a generative QA?
Extraktívny systém vyberá úsek z kontextu. Generatívny formuluje novú vetu a môže kombinovať viac dôkazov.
Ako sa hodnotí krátka odpoveď?
Exact match a tokenové F1 porovnávajú s referenciou, ale nepostačujú pri viacerých správnych formuláciách a faktickom zdôvodnení.
Čo je unanswerable question?
Otázka, na ktorú dostupný kontext neposkytuje dostatočnú odpoveď. Model má rozpoznať nedostatok dôkazu, nie hádať.
Ako sa obmedzuje halucinácia?
Retrievalom, citáciami, kontrolou entailmentu, validáciou čísel a možnosťou odpoveď neposkytnúť.
Je QA vhodné na vysokorizikové rozhodnutie?
Môže podporiť vyhľadanie informácie, no potrebuje doménovú validáciu, aktuálne zdroje a jasné ponechanie rozhodovacej zodpovednosti človeku.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Rajpurkar et al., SQuAD, 2016
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.