Odborná definícia
Význam a odborné vymedzenie pojmu
Model monitoring je priebežné sledovanie technického a vecného správania nasadeného modelu, jeho vstupov, výstupov a prevádzkového prostredia. Zahŕňa dostupnosť, latenciu, chyby rozhrania, zmenu schémy, distribúcie príznakov, pomery predikcií, kalibráciu, kvalitu po príchode labelov a rozdiely medzi segmentmi. Monitor musí mať baseline, prahy, vlastníka upozornenia a postup reakcie. Samotný dashboard bez rozhodovacích pravidiel a spätnej väzby nepredstavuje účinnú kontrolu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Po nasadení sa model nestáva hotovým produktom bez dozoru. Vstupné dáta môžu meniť formát, používatelia môžu zmeniť správanie a upstream systém môže začať posielať nuly. Monitoring sleduje, či služba odpovedá, či sa zmenili vstupy a či predikcie stále prinášajú očakávaný výsledok. Niektoré chyby vidno okamžite, napríklad nárast latencie, iné až po týždňoch, keď dorazí skutočný výsledok. Každý alarm musí viesť ku konkrétnemu vyšetreniu, nie iba k ďalšiemu grafu.
Časté otázky
Otázky, ktoré spresňujú význam
Čo sa dá monitorovať bez ground truth?
Schéma, chýbajúce hodnoty, rozsahy, distribúcie, embeddingy, confidence, pomer tried, latencia a technické chyby. Nejde však o priamy dôkaz správnosti predikcie.
Ako sa nastavuje prah alarmu?
Z historickej variability, rizika a nákladov reakcie. Statický štatistický prah treba overiť, aby nevytváral množstvo falošných alarmov.
Čo je delayed feedback?
Skutočný výsledok je známy až neskôr, napríklad splatenie úveru. Monitoring musí spájať predikciu s budúcim labelom a správne riešiť oneskorenie.
Má sa sledovať výkon podľa segmentov?
Áno. Celková metrika môže zostať stabilná, hoci sa výkon zhorší v konkrétnom jazyku, zariadení, regióne alebo rizikovej skupine.
Kto reaguje na alarm?
Vopred určený vlastník s runbookom. Postup môže zahŕňať kontrolu dát, rollback, úpravu prahu, fallback, incident management alebo pretrénovanie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST AI RMF Playbook, AI deployment, operation and monitoring
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.