Odborná definícia
Význam a odborné vymedzenie pojmu
Ground truth je referenčný údaj, label alebo meranie, ktoré sa v konkrétnom procese používa ako cieľ pre tréning alebo hodnotenie modelu. Môže vzniknúť priamym meraním, odbornou anotáciou, adjudikáciou viacerých posudzovateľov alebo neskorším potvrdeným výsledkom. Označenie neznamená absolútnu a bezchybnú pravdu. Referencia môže obsahovať meraciu chybu, nejednoznačnosť, zmenu definície a systematický bias. Kvalitná knowledge base preto eviduje pôvod labelu, pokyny, mieru zhody, neistotu, verziu a čas platnosti, nie iba finálnu hodnotu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri modeli na rozpoznanie poškodenia môže byť ground truth rozhodnutie technika, výsledok laboratórneho testu alebo potvrdenie po rozobratí výrobku. Každý zdroj má inú presnosť a cenu. Ak dvaja technici nesúhlasia pri hraničnej praskline, vynútenie jedného labelu nezruší neistotu, iba ju skryje. Referenčná pravda je preto skôr oficiálny rozhodovací základ pre danú úlohu než metafyzická pravda o svete. Pri revízii pravidiel sa môžu staré labely stať neporovnateľné, a model potom vyzerá horšie alebo lepšie iba preto, že sa zmenil štandard.
Časté otázky
Otázky, ktoré spresňujú význam
Kto môže vytvárať ground truth?
Senzor, expert, skupina anotátorov, administratívny register alebo následne pozorovaný výsledok. Voľba závisí od úlohy a musí sa dokumentovať spolu s kvalifikáciou, postupom a konfliktmi záujmov.
Ako sa rieši nesúhlas anotátorov?
Meria sa zhoda, zachovávajú sa individuálne labely alebo distribúcia názorov a používa sa adjudikácia. Väčšinové hlasovanie je iba jedna možnosť a môže potlačiť oprávnený menšinový odborný pohľad.
Čo spôsobujú chybné labely pri tréningu?
Model sa môže naučiť nekonzistentné hranice, zhoršiť kalibráciu a reprodukovať systematický bias anotácie. Náhodný šum a systematické chyby majú odlišný dopad a vyžadujú inú nápravu.
Môžu syntetické dáta tvoriť ground truth?
V simulácii môže byť cieľ známy presne podľa generujúceho procesu. To je pravda simulátora, nie automaticky reálneho sveta, preto treba hodnotiť simulačnú medzeru a validáciu na reálnych dátach.
Kedy sa ground truth musí aktualizovať?
Pri zmene definície cieľa, meracej techniky, právnych pravidiel, anotátorských pokynov alebo populácie. Verzie sa nemajú ticho prepísať, pretože by sa stratila reprodukovateľnosť starších evaluácií.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.