Odborná definícia
Odborná definícia
Dátová validácia je systematické overovanie, či vstupné alebo tréningové dáta spĺňajú definovanú schému, rozsahy, typy, vzťahy, distribučné očakávania a doménové pravidlá. Kontroly môžu zachytiť chýbajúce polia, neplatné kategórie, prudkú zmenu podielov, porušenie referenčnej integrity, anomálne jednotky alebo rozdiel medzi tréningovým a produkčným formátom. Validácia sa vykonáva pri prijatí zdroja, po transformáciách aj pred inferenciou, pričom výsledok musí viesť k blokovaniu, karanténe alebo riadenej výnimke.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak model očakáva vek v rokoch, ale nový systém začne posielať dátum narodenia alebo vek v mesiacoch, technicky môže ísť stále o číslo. Bez validačného pravidla model prijme hodnotu a vytvorí nezmyselný výsledok. Dátová validácia je vstupná kontrola, ktorá neoveruje iba formát, ale aj význam. Dobrá pipeline vie povedať, či chyba zastaví spracovanie, či sa záznam odloží na preverenie a kto môže schváliť výnimku. Tiché opravy bez záznamu zakrývajú problém a sťažujú audit.
Časté otázky
Časté otázky
Aký je rozdiel medzi validáciou dát a čistením dát?
Validácia zisťuje, či dáta spĺňajú pravidlá. Čistenie vykonáva opravu, odstránenie alebo transformáciu, pričom zásah má byť zdokumentovaný a testovaný.
Má sa validovať aj produkčný vstup pri každej požiadavke?
Pri kritických poliach áno. Časť pravidiel môže fungovať online, náročnejšie distribučné kontroly sa vykonávajú dávkovo alebo nad časovým oknom.
Čo je schema drift?
Je to zmena štruktúry dát, napríklad nový typ, premenovaný stĺpec alebo odlišný zoznam kategórií. Môže prerušiť pipeline alebo ticho zmeniť význam vstupu.
Ako sa pracuje s povolenou výnimkou?
Výnimka má mať dôvod, vlastníka, časové obmedzenie, rozsah dopadu a záznam. Nemá sa stať trvalým obídením pravidla bez revízie.
Môže validácia odhaliť bias?
Môže zachytiť nerovnomerné zastúpenie alebo odlišnú chybovosť údajov medzi skupinami, no samotné posúdenie férovosti vyžaduje ďalšiu analýzu a kontext.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.