Test set

Test set je oddelená množina príkladov použitá na konečné, nezávislé hodnotenie vybraného modelu po ukončení tréningu a ladenia.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba kontrolovať pôvod, kvalitu, aktuálnosť, oprávnenie na použitie a reprezentatívnosť dát.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá kvalita, neaktuálnosť, skreslenie, únik informácií alebo nejasné oprávnenie na použitie. Potrebná je dátová stopa, kontrola pôvodu, reprezentatívnosti a pravidlá uchovávania.

Test set sa od pojmov Training set, System prompt, Synthetic data odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.