Data preprocessing

Data preprocessing je súbor krokov na čistenie, transformáciu, normalizáciu, kódovanie a prípravu surových dát do podoby vhodnej pre tréning alebo inferenciu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba kontrolovať pôvod, kvalitu, aktuálnosť, oprávnenie na použitie a reprezentatívnosť dát.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá kvalita, neaktuálnosť, skreslenie, únik informácií alebo nejasné oprávnenie na použitie. Potrebná je dátová stopa, kontrola pôvodu, reprezentatívnosti a pravidlá uchovávania.

Data preprocessing sa od pojmov Dataset, Data labeling, Feature odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.