observabilita AI | AI slovník

Odborná definice

AI observability je schopnost zrekonštruovat a vysvetlit provozní chování AI systému na základě telemetrie o vstupech, výstupech, modelových verziách, promptoch, retrieval výsledkoch, volaniach nástrojů, latencii, nákladoch, chybách a používatelskej zpětné vezbe. Nejde pouze o dashboard dostupnosti. Observability propojuje logy, metriky, traces a datový původ tak, aby tím vedel diagnostikovat príčinu selhání a určit rozsah dopadu. Telemetria musí umožnit porovnání mezi verzemi a současně omezit sběr osobních údajů a obchodných tajomstiev.

Srozumitelné vysvětlení

Když asistent poskytne chybnou odpověď, nestačí vědět, že API fungovalo. Potrebujeme zjistit, jaký dokument se vyhladal, který model a prompt se použili, či byl nástroj úspěšný a co uživatel skutečně videl. Observability vytváří stopu celé cesty požadavky. Díky ní lze odlíšit halucinaci modelu od zlého vyhledávání, zastaraného zdroje nebo chyby integrace. Záznamy však musí respektovat ochranu údajů a přístupová práva. Bez jednoznačného identifikátora požadavky se jednotlivé záznamy nedají spojit a príčina incidentu zůstává pouze odhadom.

Časté otázky

Jaký je rozdíl mezi monitoringom a observability?

Monitoring sleduje předem známé ukazovatele a alarmy, například chybovost nebo latenci. Observability poskytuje dostatek kontextu na skúmání i neočakávaných problémů. V AI systéme to znamená prepojit požadavek s verzí modelu, promptem, zdroji, tool calls a hodnotením výstupu. Monitoring řekne, že se něco zhoršilo, observability pomáhá zjistit proč.

Které údaje se mají logovat při RAG aplikaci?

Užitečné jsou identifikátor požadavky, verze embeddingu a indexu, vyhledávací dotaz, nájdené dokumenty a skóre, sestavený prompt, verze generátora, citace, latence a zpětná vazba. Citlivý obsah se nemá bezhlavo ukladat. Logování potřebuje minimalizaci, pseudonymizaci, retenčné lehoty a oddělení prístupů podle účelu.

Jako observability pomáhá při halucinacích?

Umožní ověřit, či model dostal relevantní zdroj, či odpověď citovala skutečnou pasáž a zda se chyba opakuje při konkrétním type vstupu. Tím může vytvořit dataset z reálných incidentů a přidat ho do regresných testů. Bez prevádzkovej stopy zůstává pouze výsledný text, ze kterého nelze spolehlivě určit, či selhal retrieval, prompt, model nebo následné zpracování.

Jaké metriky jsou důležité při agentoch?

Kromě latence a ceny se sleduje úspěšnost úlohy, počet kroků, opakované volání, chyby nástrojů, překročení oprávnění, zásahy člověka a nedokončené smyčky. Trace má zachytit rozhodnutí mezi krokmi bez toho, aby nekontrolovane ukladal tajemství. Při citlivých akciách se eviduje, kdo akci schválil a jaký vstup ji vyvolal.

Kdy se observability stává rizikem pro soukromí?

Riziko vzniká, když logy obsahují celé prompty, osobní údaje, obchodné tajemství nebo autentifikačné tokeny a jsou dostupné širokému okruhu lidí. Telemetria má používat redakci, hashování nebo vzorkování podle potřeby. Přístup se řídí rolami, záznamy mají lehotu uchování a citlivé incidenty se řeší v oddelenom forenznom režime.

Související pojmy

Zdroje a redakční stopa

NIST AI Risk Management Framework
NIST AI 600-1, Generative AI Profile
OpenAI, A practical guide to building AI agents

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.