Odborná definícia
Odborná definícia
Dátové otrávenie je útok alebo škodlivé zasahovanie do tréningových dát, pri ktorom útočník vkladá, mení alebo selektívne odstraňuje príklady tak, aby ovplyvnil naučené správanie modelu. Cieľom môže byť všeobecné zhoršenie výkonu, posun rozhodovacej hranice, diskrétna manipulácia konkrétnej triedy alebo vytvorenie zadných vrátok aktivovaných špecifickým vzorom. Útok môže zasiahnuť surové dáta, štítky, spätnú väzbu používateľov aj externé zdroje automaticky sťahované do tréningovej pipeline.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si systém, ktorý sa priebežne učí z nahlásených podvodov. Útočník môže opakovane označovať vlastné podvodné transakcie ako bezpečné alebo zaplavovať systém príkladmi, ktoré vytvoria zavádzajúce pravidlo. Model potom nezačne zlyhávať náhodne, ale presne tam, kde to útočník potrebuje. Dátové otrávenie je nebezpečné najmä v otvorených zberných kanáloch, pri crowdsourcingu a pri automatickom preberaní webového obsahu bez overenia pôvodu a anomálií.
Časté otázky
Časté otázky
Ako sa otrávenie líši od adversariálneho príkladu?
Otrávenie zasahuje tréning a mení budúci model. Adversariálny príklad manipuluje vstup počas inferencie bez nutnej zmeny tréningových dát.
Čo je backdoor poisoning?
Útočník vloží vzor spojený s vybraným výstupom. Model sa navonok správa normálne, ale pri výskyte spúšťača vykoná útočníkom požadovanú predikciu.
Ktoré zdroje dát sú najrizikovejšie?
Otvorené formuláre, používateľská spätná väzba, verejné webové zdroje, partnerské datasety bez provenance a automatické self training slučky.
Ako sa útok zmierňuje?
Používa sa kontrola pôvodu, prístupové riadenie, detekcia anomálií, robustný tréning, vzorková manuálna revízia a oddelenie dôveryhodného referenčného datasetu.
Dá sa otrávenie úplne vylúčiť?
Nie pri každom otvorenom systéme. Cieľom je znížiť pravdepodobnosť, obmedziť dosah, rýchlo odhaliť odchýlku a vedieť obnoviť čistú verziu dát aj modelu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.