Data poisoning

Data poisoning je útok, pri ktorom protivník vkladá alebo upravuje tréningové dáta tak, aby znížil výkon modelu, vytvoril skrytú reakciu alebo ovplyvnil jeho správanie.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa posudzuje cez hrozbový scenár, preventívne kontroly, záznamy udalostí a pripravený postup pri incidente.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je obídenie kontroly, únik údajov, neoprávnený prístup alebo nový spôsob útoku. Ochrana potrebuje vrstvené opatrenia, monitoring, obmedzené oprávnenia a nacvičený incidentný postup.

Data poisoning sa od pojmov Adversarial example, Adversarial attack, Input validation odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.