Generování otázek | AI slovník

Odborná definice

Question generation je automatická tvorba otázek z textu, znalostní struktury, odpovědi nebo pedagogického cíle. Model musí zvolit predmet otázky, formulaci, typ odpovědi a případně úroveň náročnosti. Při answer-aware prístupe dostane cílovou odpověď a vytvoří otázku, která k ní vede. Kvalita se neposudzuje pouze gramatikou. Otázka musí být zodpovedatelná ze zdroje, jednoznačná, primeraná cielu a nesmí prezrádzat odpověď nežiaducim způsobem.

Srozumitelné vysvětlení

Učitel označí odsek o fotosyntéze a požiada systém o tri otázky. Jedna může ověřit fakt, druhá vztah příčiny a následku a tretia aplikaci. Model však může vytvořit otázku, které odpověď v textu není, nebo použít formulaci tak podobnou vete, že žiak pouze kopíruje. Proto se automaticky generovaná sada kontroluje podle zdroje, kognitívnej úrovně, veku a možnosti více správných odpovědí.

Časté otázky

Je question generation opakom question answering?

Úlohy jsou prepojené, ale ne přesně inverzné. Z jedné odpovědi lze vytvořit více otázek a jedna otázka může mít více platných odpovědí.

Co je answer-aware generation?

Model dostane kontext i označenou odpověď a formuluje otázku, pro kterou je tato odpověď vhodná.

Jak se hodnotí zodpovedatelnost?

Samostatný QA model nebo člověk ověří, či odpověď vyplývá ze zdroje a či otázka nevyžaduje skryté informace.

Proč BLEU nestačí?

Nízká textová shoda může být při dobrej alternatívnej otázce a vysoká shoda může zakrýt nejednoznačnost nebo triviálnost.

Jaké riziko vzniká při testech?

Únik tréninkových materiálů, faktické chyby, nevhodná obtížnost, bias a automatické hodnocení otázky, kterou model sám špatně navrhol.

Související pojmy

Zdroje a redakční stopa

Du, Shao a Cardie, Learning to Ask, 2017

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.