Inference endpoint | AI slovník

Odborná definícia

Inference endpoint je sieťové alebo lokálne rozhranie, cez ktoré aplikácia odovzdá vstup nasadenému modelu a prijme jeho výstup. Typicky definuje adresu, protokol, autentifikáciu, vstupnú schému, formát odpovede, limity veľkosti a pravidlá chýb. Za rozhraním môže byť jeden model, ensemble, predspracovací reťazec alebo smerovanie medzi viacerými verziami. Endpoint nie je samotný model, ale prevádzková služba zahŕňajúca serving runtime, škálovanie, monitorovanie a bezpečnostné kontroly. Návrh musí riešiť idempotenciu, timeout, retry, dávkovanie a ochranu citlivých dát, inak aplikácia nevie spoľahlivo interpretovať výsledok.

Zrozumiteľné vysvetlenie

Mobilná aplikácia odošle fotografiu na adresu služby a dostane JSON s názvom objektu a skóre. Táto adresa s dohodnutým formátom je inference endpoint. Klient nemusí vedieť, na ktorom GPU model beží ani koľko replík ho obsluhuje. Musí však poznať rozlíšenie obrázka, názvy polí, spôsob prihlásenia a význam chybových kódov. Pri aktualizácii modelu možno časť požiadaviek poslať na novú verziu a zvyšok ponechať na starej. Ak sa schéma zmení bez verzie, aplikácia môže interpretovať nové skóre ako starý údaj a vytvoriť chybnú akciu.

Časté otázky

Aký je rozdiel medzi endpointom a modelovým artefaktom?

Artefakt obsahuje váhy a konfiguráciu modelu. Endpoint je spustená služba, ktorá rieši komunikáciu, validáciu vstupu, výpočet, škálovanie, bezpečnosť a formát odpovede.

Kedy sa používa synchrónny endpoint?

Keď klient čaká na odpoveď v tom istom spojení, napríklad pri interaktívnom vyhľadávaní. Dlhé úlohy sa často riešia asynchrónne s identifikátorom úlohy a neskorším načítaním.

Ako sa verzujú modelové rozhrania?

Verzia môže byť v URL, hlavičke alebo routingovej konfigurácii. Kontrakt vstupu a výstupu sa mení riadene, pričom starí klienti dostanú čas na migráciu a regresné testy.

Čo má endpoint zaznamenávať do logu?

Identifikátor požiadavky, verziu modelu, časovanie, stav, veľkosť vstupu a bezpečné prevádzkové metadáta. Citlivý obsah sa nemá ukladať automaticky bez právneho dôvodu a ochrany.

Ako sa chráni endpoint pred zneužitím?

Autentifikáciou, autorizáciou, rate limitingom, validáciou schémy, limitom veľkosti, šifrovaním, izoláciou runtime a detekciou neobvyklých požiadaviek. Dôležité sú aj kvóty nákladného generovania.

Súvisiace pojmy

Zdroje a redakčná stopa

KServe documentation, InferenceService (kserve.github.io) NVIDIA Triton, Inference Protocols and APIs (docs.nvidia.com)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.