Winograd schema

Winograd schema je jazyková úloha so zámenom, ktorej správne vyriešenie vyžaduje kontextové alebo všeobecné znalosti namiesto jednoduchých syntaktických pravidiel.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi potrebuje reprodukovateľný protokol, vhodnú porovnávaciu základňu a analýzu chýb aj neistoty.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je nereprezentatívny test, únik dát, preladenie na benchmark alebo zamenenie priemernej metriky za bezpečnú prevádzku. Hodnotenie musí zahŕňať hraničné prípady a analýzu chýb.

Winograd schema sa od pojmov XAI local explanation, XAI global explanation, Unit test for AI odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.