Odborná definícia
Význam a odborné vymedzenie pojmu
AI observability je schopnosť zrekonštruovať a vysvetliť prevádzkové správanie AI systému na základe telemetrie o vstupoch, výstupoch, modelových verziách, promptoch, retrieval výsledkoch, volaniach nástrojov, latencii, nákladoch, chybách a používateľskej spätnej väzbe. Nejde iba o dashboard dostupnosti. Observability prepája logy, metriky, traces a dátový pôvod tak, aby tím vedel diagnostikovať príčinu zlyhania a určiť rozsah dopadu. Telemetria musí umožniť porovnanie medzi verziami a súčasne obmedziť zber osobných údajov a obchodných tajomstiev.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Keď asistent poskytne chybnú odpoveď, nestačí vedieť, že API fungovalo. Potrebujeme zistiť, aký dokument sa vyhľadal, ktorý model a prompt sa použili, či bol nástroj úspešný a čo používateľ skutočne videl. Observability vytvára stopu celej cesty požiadavky. Vďaka nej možno odlíšiť halucináciu modelu od zlého vyhľadávania, zastaraného zdroja alebo chyby integrácie. Záznamy však musia rešpektovať ochranu údajov a prístupové práva. Bez jednoznačného identifikátora požiadavky sa jednotlivé záznamy nedajú spojiť a príčina incidentu zostáva iba odhadom.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi monitoringom a observability?
Monitoring sleduje vopred známe ukazovatele a alarmy, napríklad chybovosť alebo latenciu. Observability poskytuje dostatok kontextu na skúmanie aj neočakávaných problémov. V AI systéme to znamená prepojiť požiadavku s verziou modelu, promptom, zdrojmi, tool calls a hodnotením výstupu. Monitoring povie, že sa niečo zhoršilo, observability pomáha zistiť prečo.
Ktoré údaje sa majú logovať pri RAG aplikácii?
Užitočné sú identifikátor požiadavky, verzia embeddingu a indexu, vyhľadávací dotaz, nájdené dokumenty a skóre, zostavený prompt, verzia generátora, citácie, latencia a spätná väzba. Citlivý obsah sa nemá bezhlavo ukladať. Logovanie potrebuje minimalizáciu, pseudonymizáciu, retenčné lehoty a oddelenie prístupov podľa účelu.
Ako observability pomáha pri halucináciách?
Umožní overiť, či model dostal relevantný zdroj, či odpoveď citovala skutočnú pasáž a či sa chyba opakuje pri konkrétnom type vstupu. Tím môže vytvoriť dataset z reálnych incidentov a pridať ho do regresných testov. Bez prevádzkovej stopy zostáva iba výsledný text, z ktorého nemožno spoľahlivo určiť, či zlyhal retrieval, prompt, model alebo následné spracovanie.
Aké metriky sú dôležité pri agentoch?
Okrem latencie a ceny sa sleduje úspešnosť úlohy, počet krokov, opakované volania, chyby nástrojov, prekročenie oprávnení, zásahy človeka a nedokončené slučky. Trace má zachytiť rozhodnutia medzi krokmi bez toho, aby nekontrolovane ukladal tajomstvá. Pri citlivých akciách sa eviduje, kto akciu schválil a aký vstup ju vyvolal.
Kedy sa observability stáva rizikom pre súkromie?
Riziko vzniká, keď logy obsahujú celé prompty, osobné údaje, obchodné tajomstvá alebo autentifikačné tokeny a sú dostupné širokému okruhu ľudí. Telemetria má používať redakciu, hashovanie alebo vzorkovanie podľa potreby. Prístup sa riadi rolami, záznamy majú lehotu uchovania a citlivé incidenty sa riešia v oddelenom forenznom režime.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST AI Risk Management Framework
- NIST AI 600-1, Generative AI Profile
- OpenAI, A practical guide to building AI agents
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.