Odborná definice
Odborná definice
Out-of-distribution detection, zkráceně OOD detection, identifikuje vstupy, které se významne liší od distribuce reprezentovanej tréningovými nebo referenčnými daty. Rozdíl může vzniknout novou třídou, senzorom, prostredím, štýlom, populací nebo procesům sběru. Detektor vytváří skóre, které se prahuje na známé a neznámé, případně na úroveň rizika. Softmax istota samotná bývá nedostatočná. Evaluace používá oddělené OOD datasety, AUROC, AUPR a false positive rate při zvoleném recall, přičemž výsledek silně závisí na typu posunu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Model na röntgenoch z jedné nemocnice může dostat snímku z jiného prístroja, s odlišným protokolom nebo dokonca obrázek zcela jiného orgánu. OOD detektor má upozornit, že predikci nelze důvěřovat stejným způsobem jako při známom vstupe. Není to univerzální alarm na vše neznámé. Metoda úspešná na náhodných obrázcích může selhat při jemnej změně senzora, která je pro kliniku důležitejšia. Proto se testuje více realistických posunů a alarm se propojuje s bezpečným fallbackom, například s odmietnutím automatického rozhodnutí.
Časté otázky
Časté otázky
Jaký je rozdíl mezi near-OOD a far-OOD?
Far-OOD je zjavne odlišný vstup, například fotografie místo röntgenu. Near-OOD je sémanticky nebo vizuálně blízky, například nový prístroj či neznáma diagnóza, a bývá ťažší.
Proč maximálne softmax skóre nestačí?
Neuronová síť může extrapolovat s vysokou istotou i mimo podporovaných dat. Skóre není pravděpodobností, že vstup pochází z tréninkové distribuce, pokud na to nebolo kalibrované.
Jak se vybírá práh OOD alarmu?
Podle tolerovaného false positive rate, požadovaného recall a nákladů fallbacku. Práh se validuje zvlášť pro relevantní typy posunu a může se lišit podle segmentu.
Je OOD detection to jisté jako drift detection?
OOD se často rozhoduje na úrovni jednotlivého vstupu. Drift detection zkoumá změnu distribuce populace v čase, ačkoli používá podobné reprezentace a vzdálenosti.
Co má systém urobit po OOD detekci?
Snížit automatizaci, požiadat o další údaj, použít záložný model nebo případ odovzdat člověku. Alarm bez definovanej reakce pouze presúva nejistotu do dalšího kroku.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- A Baseline for Detecting Misclassified and Out-of-Distribution Examples Deep Anomaly Detection with Outlier Exposure
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.