Model evaluation | AI slovník

Odborná definice

Model evaluation je systematické měření schopností, chyb a omezení modelu na datech a scenároch oddelených od prispůsobování parametrů. Zahrnuje výběr metrik, testovaci schéma, segmentaci výsledků, odhad nejistoty, porovnání s baseline a analýzu zlyhaní. Evaluace musí odpovídat zamýšlanému použití, distribuci provozních vstupů a nákladem rozhodnutí. Jedna průměrná metrika nestačí na posouzení robustnosti, kalibrace, fairness, bezpečnosti ani výkonu při okrajových případech.

Srozumitelné vysvětlení

Hodnocení modelu není pouze spuštění accuracy na náhodně odloženej petine dat. Nejprve je třeba určit, jaké rozhodnutí bude model podporovat, které chyby jsou kritické a jaké situace nastanou v provozu. Test může být časovo oddělený, rozdělený podle zařízení, regiónu, jazyka nebo typu uživatele. Důležité je porovnat model s jednoduchou baseline a preskúmat konkrétně selhání. Pokud se testovací sada opakovaně používá při ladění, prestáva být nezávislým důkazem generalizace.

Časté otázky

Jaký je rozdíl mezi validační a testovacou sadou?

Validační sada slouží na výběr modelu, prahů a hyperparametrů. Testovací sada se má použít až na nezávislé finálne posouzení zvolené konfigurace.

Proč nestačí jedna metrika?

Různé metriky zachycují jiné typy chyb. Stejné F1 může skrývat rozdielnu kalibraci, latenci, výkon menšinových skupin nebo bezpečnostní selhání.

Co je baseline?

Jednoduchý referenční postup, například večšinová třída, pravidlo nebo existujúci proces. Model musí preukázat přínos oproti reálné alternatíve.

Jak se hodnotí generativní model?

Kombinací automatických metrik, task-based testů, lidského hodnocení, kontroly faktickosti, bezpečnostných scenárů a konzistence při opakování.

Co je data leakage v evaluaci?

Informace z testu ovlivní trénink, výběr příznaků, normalizaci nebo ladění. Výsledek potom nadhodnocuje výkon na skutečně nových datech.

Související pojmy

Zdroje a redakční stopa

scikit-learn, model evaluation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.