Datová validace | AI slovník

Odborná definice

Datová validace je systematické overování, či vstupní nebo tréninková data splňají definovanou schéma, rozsahy, typy, vztahy, distribuční očakávání a doménové pravidla. Kontroly mohou zachytit chybějící pole, neplatné kategorie, prudkou změnu podielů, porušení referenční integrity, anomálne jednotky nebo rozdíl mezi tréninkovým a produkčným formátem. Validace se provádí při prijatí zdroje, po transformacích i před inferencí, přičemž výsledek musí vést k blokování, karanténe nebo riadenej výnimke.

Srozumitelné vysvětlení

Pokud model očekává vek v rokoch, ale nový systém začne posielat datum narodení nebo vek v mesiacoch, technicky může jít stále o číslo. Bez validačního pravidla model prijme hodnotu a vytvoří nezmyselný výsledek. Datová validace je vstupní kontrola, která neoveruje pouze formát, ale i význam. Dobrá pipeline ví povedat, či chyba zastaví zpracování, zda se záznam odloží na preverení a kdo může schválit výnimku. Tiché opravy bez záznamu zakrývají problém a sťažují audit.

Časté otázky

Jaký je rozdíl mezi validací dat a čistením dat?

Validace zjišťuje, či data splňají pravidla. Čištění provádí opravu, odstranění nebo transformaci, přičemž zásah má být zdokumentovaný a testovaný.

Má se validovat i produkční vstup při každé požadavku?

Při kritických polích ano. Část pravidel může fungovat online, náročnější distribuční kontroly se vykonávají dávkovo nebo nad časovým oknom.

Co je schema drift?

Je to změna struktury dat, například nový typ, premenovaný sloupec nebo odlišný seznam kategorií. Může prerušit pipeline nebo ticho změnit význam vstupu.

Jak se pracuje s povolenou výnimkou?

Výnimka má mít důvod, vlastníka, časové omezení, rozsah dopadu a záznam. Nemá se stát trvalým obídením pravidla bez revíze.

Může validace odhalit bias?

Může zachytit nerovnomerné zastoupení nebo odlišnou chybovost údajů mezi skupinami, ale samotné posouzení férovosti vyžaduje další analýzu a kontext.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.