Odborná definícia
Význam a odborné vymedzenie pojmu
Out-of-distribution detection, skrátene OOD detection, identifikuje vstupy, ktoré sa významne líšia od distribúcie reprezentovanej tréningovými alebo referenčnými dátami. Rozdiel môže vzniknúť novou triedou, senzorom, prostredím, štýlom, populáciou alebo procesom zberu. Detektor vytvára skóre, ktoré sa prahuje na známe a neznáme, prípadne na úroveň rizika. Softmax istota samotná býva nedostatočná. Evaluácia používa oddelené OOD datasety, AUROC, AUPR a false positive rate pri zvolenom recall, pričom výsledok silne závisí od typu posunu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model na röntgenoch z jednej nemocnice môže dostať snímku z iného prístroja, s odlišným protokolom alebo dokonca obrázok úplne iného orgánu. OOD detektor má upozorniť, že predikcii nemožno dôverovať rovnakým spôsobom ako pri známom vstupe. Nie je to univerzálny alarm na všetko neznáme. Metóda úspešná na náhodných obrázkoch môže zlyhať pri jemnej zmene senzora, ktorá je pre kliniku dôležitejšia. Preto sa testuje viac realistických posunov a alarm sa prepája s bezpečným fallbackom, napríklad s odmietnutím automatického rozhodnutia.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi near-OOD a far-OOD?
Far-OOD je zjavne odlišný vstup, napríklad fotografia namiesto röntgenu. Near-OOD je sémanticky alebo vizuálne blízky, napríklad nový prístroj či neznáma diagnóza, a býva ťažší.
Prečo maximálne softmax skóre nestačí?
Neurónová sieť môže extrapolovať s vysokou istotou aj mimo podporovaných dát. Skóre nie je pravdepodobnosťou, že vstup pochádza z tréningovej distribúcie, ak na to nebolo kalibrované.
Ako sa vyberá prah OOD alarmu?
Podľa tolerovaného false positive rate, požadovaného recall a nákladov fallbacku. Prah sa validuje osobitne pre relevantné typy posunu a môže sa líšiť podľa segmentu.
Je OOD detection to isté ako drift detection?
OOD sa často rozhoduje na úrovni jednotlivého vstupu. Drift detection skúma zmenu distribúcie populácie v čase, hoci používa podobné reprezentácie a vzdialenosti.
Čo má systém urobiť po OOD detekcii?
Znížiť automatizáciu, požiadať o ďalší údaj, použiť záložný model alebo prípad odovzdať človeku. Alarm bez definovanej reakcie iba presúva neistotu do ďalšieho kroku.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- A Baseline for Detecting Misclassified and Out-of-Distribution Examples Deep Anomaly Detection with Outlier Exposure
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.