Provozní zpřístupnění modelu | AI slovník

Odborná definice

Model serving je provozní vrstva, která načte konkrétní verzi modelového artefaktu a zpřístupní jeho inferenci aplikacím, uživatelům nebo dávkovým procesům. Zahrnuje validaci vstupní schémata, předzpracování, přidělování výpočetních zdrojů, směrování požadavků, tvorbu dávek, postprocessing, zdravotní kontroly a sběr telemetrie. Serving není totožný s tréninkem ani s celým nasazením produktu. Jeho správnost závisí na konzistentní verze váh, kódu, slovníků, prahů a rozhraní.

Srozumitelné vysvětlení

Natrénovaný model v notebooku je podobný kuchárskemu receptu, který ještě nikto neví objednat. Model serving z něho vytvoří fungujúcu kuchyňu s objednávkovým okienkom. Prijme požadavek, zkontroluje její formát, připraví suroviny v stejném poradí jako při testování, spustí výpočet a výsledek převede do podoby, které rozumie aplikace. Pokud se vymení pouze soubor váh, ale zůstane starý tokenizér nebo práh, služba může vracet technicky platné, ale vecne nesprávně odpovědi.

Časté otázky

Je model serving stejný jako inferenční endpoint?

Endpoint je jedno konkrétně rozhraní. Serving zahrnuje i načtení modelu, škálování, dávkování, verze, monitoring a postup při chybě.

Kdy se používá online a kdy dávkový serving?

Online režim odpovídá na jednotlivé požadavky s nízkou latencí. Dávkový režim zpracuje větší soubor najednou a upřednostňuje propustnost a cenu.

Jak se bezpečně nasadzuje nová verze?

Používá se tieňové vyhodnocení, canary provoz nebo A/B test s možností okamžitého návratu na predchádzajúcu verzi.

Co nejčastěji zvyšuje latenci?

Studený štart, presuny dat, nevhodná velikost dávky, pomalý postprocessing, sieťová komunikace a operace bez podpory cílového hardwaru.

Jaké údaje se mají logovat?

Identifikátor verze, časování, technický stav a bezpečné diagnostické signály. Citlivé vstupy se nemají ukladat automaticky bez právneho důvodu a ochranných pravidel.

Související pojmy

Zdroje a redakční stopa

TensorFlow Serving, Architecture
NIST AI Risk Management Framework

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.