Odborná definícia
Odborná definícia
Evaluation dataset je súbor príkladov a očakávaných výsledkov alebo hodnotiacich kritérií, ktorý sa používa na meranie správania modelu či celého AI systému. Môže byť validačný, testovací, regresný, bezpečnostný, kontrafaktuálny alebo scenárový. Musí mať zdokumentovaný pôvod, cieľovú populáciu, anotátorov, časový rozsah, pravidlá použitia a známe medzery. Ak sa podľa výsledkov opakovane ladí systém, dataset prestáva byť nezávislým testom a treba zaviesť nový holdout alebo slepú evaluáciu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Evaluačný dataset je skúšobná sada, ktorú model nemá používať ako učebnicu. Pri chatbotovi môže obsahovať reálne otázky, správne podklady, zakázané typy odpovedí a kritériá pre citácie. Samotný počet príkladov nestačí. Ak sada obsahuje iba jednoduché otázky od expertov, nebude reprezentovať nejasné formulácie bežných používateľov. Každá oprava systému môže zároveň viesť k nevedomému prispôsobeniu testu, preto sa oddeľuje pracovná regresná sada od chráneného finálneho hodnotenia.
Časté otázky
Časté otázky
Aký je rozdiel medzi validačným a testovacím datasetom?
Validácia podporuje výber modelu, promptu alebo hyperparametrov. Test sa má použiť až na nezávislé posúdenie zvolenej verzie a nemá riadiť ďalšie ladenie.
Musí mať každý príklad jednu správnu odpoveď?
Nie. Pri otvorenom generovaní môže obsahovať rubriku, povinné fakty, zakázané tvrdenia, zdrojové dôkazy a viac prijateľných odpovedí.
Ako sa buduje reprezentatívna eval sada?
Vychádza z cieľových používateľov, prevádzkových logov, rizikových scenárov a očakávaných zmien. Zastúpenie sa kontroluje po jazyku, skupine a náročnosti.
Čo je regresný eval dataset?
Stála sada kritických prípadov spúšťaná po každej zmene. Má zachytiť, či oprava jednej funkcie nepoškodila už fungujúce správanie.
Ako sa chráni pred únikom do tréningu?
Oddelí sa prístup, eviduje pôvod dát, používa sa novší časový rez, hashovanie, canary obsah a zmluvné pravidlá pre externých dodávateľov.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.