Odborná definícia
Význam a odborné vymedzenie pojmu
Error analysis je systematické skúmanie nesprávnych alebo neuspokojivých výstupov s cieľom vytvoriť taxonómiu zlyhaní, určiť ich frekvenciu, závažnosť a pravdepodobnú príčinu. Neobmedzuje sa na priemernú metriku. Spája konkrétne prípady s dátovými rezmi, anotáciami, komponentmi pipeline a podmienkami použitia. Výsledkom má byť prioritizovaný zoznam zásahov, napríklad oprava štítkov, nový eval set, zmena retrievalu, úprava promptu, kalibrácia prahu alebo bezpečnostná kontrola.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model môže mať 92 percent presnosť a napriek tomu zlyhávať presne tam, kde to firmu najviac bolí. Analýza chýb vezme vzorku neúspechov a rozdelí ich podľa mechanizmu, napríklad chýbajúci dokument, nesprávne rozpoznaná entita, nejasná otázka alebo chybná citácia. Potom sa spočíta, ktoré skupiny sú časté a ktoré majú veľký dopad. Cieľom nie je zoznam kuriozít, ale rozhodnutie, či ďalší týždeň priniesie väčší úžitok oprava dát, retrievera alebo používateľského rozhrania. Každá kategória má viesť ku konkrétnemu testu alebo zásahu.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa vyberá vzorka chýb na analýzu?
Kombinuje sa náhodná vzorka s rizikovými rezmi, novými typmi vstupov a prípadmi s vysokou neistotou. Iba najviditeľnejšie sťažnosti by skreslili obraz.
Čo má obsahovať taxonómia chýb?
Kategórie musia byť jednoznačné, akčné a primerane úplné. Pri každej sa eviduje príklad, závažnosť, fáza vzniku a možný spôsob nápravy.
Ako sa odlišuje chyba modelu od chyby dát?
Sleduje sa pôvodný vstup, ground truth, transformácie a medzivýstupy. Nesprávny štítok alebo chýbajúci kontext nemožno pripísať iba modelu.
Prečo je potrebná analýza po používateľských skupinách?
Priemer môže skryť systematické zlyhanie v menšom jazyku, zariadení alebo segmente. Slice analýza ukáže nerovnomerné rozdelenie rizika.
Kedy je analýza chýb ukončená?
Keď sa zistenia pretavia do testovateľných hypotéz, priorít a nových eval prípadov. Po zmene sa overí, či cieľová chyba klesla bez poškodenia iných oblastí.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.