Odborná definícia
Odborná definícia
Question generation je automatická tvorba otázok z textu, znalostnej štruktúry, odpovede alebo pedagogického cieľa. Model musí zvoliť predmet otázky, formuláciu, typ odpovede a prípadne úroveň náročnosti. Pri answer-aware prístupe dostane cieľovú odpoveď a vytvorí otázku, ktorá k nej vedie. Kvalita sa neposudzuje iba gramatikou. Otázka musí byť zodpovedateľná zo zdroja, jednoznačná, primeraná cieľu a nesmie prezrádzať odpoveď nežiaducim spôsobom.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Učiteľ označí odsek o fotosyntéze a požiada systém o tri otázky. Jedna môže overiť fakt, druhá vzťah príčiny a následku a tretia aplikáciu. Model však môže vytvoriť otázku, ktorej odpoveď v texte nie je, alebo použiť formuláciu tak podobnú vete, že žiak iba kopíruje. Preto sa automaticky generovaná sada kontroluje podľa zdroja, kognitívnej úrovne, veku a možnosti viacerých správnych odpovedí.
Časté otázky
Časté otázky
Je question generation opakom question answering?
Úlohy sú prepojené, ale nie presne inverzné. Z jednej odpovede možno vytvoriť viac otázok a jedna otázka môže mať viac platných odpovedí.
Čo je answer-aware generation?
Model dostane kontext aj označenú odpoveď a formuluje otázku, pre ktorú je táto odpoveď vhodná.
Ako sa hodnotí zodpovedateľnosť?
Samostatný QA model alebo človek overí, či odpoveď vyplýva zo zdroja a či otázka nevyžaduje skryté informácie.
Prečo BLEU nestačí?
Nízka textová zhoda môže byť pri dobrej alternatívnej otázke a vysoká zhoda môže zakryť nejednoznačnosť alebo triviálnosť.
Aké riziko vzniká pri testoch?
Únik tréningových materiálov, faktické chyby, nevhodná obtiažnosť, bias a automatické hodnotenie otázky, ktorú model sám zle navrhol.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Du, Shao a Cardie, Learning to Ask, 2017
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.