Odborná definice
Význam a odborné vymezení pojmu
Model serving je provozní vrstva, která načte konkrétní verzi modelového artefaktu a zpřístupní jeho inferenci aplikacím, uživatelům nebo dávkovým procesům. Zahrnuje validaci vstupní schémata, předzpracování, přidělování výpočetních zdrojů, směrování požadavků, tvorbu dávek, postprocessing, zdravotní kontroly a sběr telemetrie. Serving není totožný s tréninkem ani s celým nasazením produktu. Jeho správnost závisí na konzistentní verze váh, kódu, slovníků, prahů a rozhraní.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Natrénovaný model v notebooku je podobný kuchárskemu receptu, který ještě nikto neví objednat. Model serving z něho vytvoří fungujúcu kuchyňu s objednávkovým okienkom. Prijme požadavek, zkontroluje její formát, připraví suroviny v stejném poradí jako při testování, spustí výpočet a výsledek převede do podoby, které rozumie aplikace. Pokud se vymení pouze soubor váh, ale zůstane starý tokenizér nebo práh, služba může vracet technicky platné, ale vecne nesprávně odpovědi.
Časté otázky
Otázky, které upřesňují význam
Je model serving stejný jako inferenční endpoint?
Endpoint je jedno konkrétně rozhraní. Serving zahrnuje i načtení modelu, škálování, dávkování, verze, monitoring a postup při chybě.
Kdy se používá online a kdy dávkový serving?
Online režim odpovídá na jednotlivé požadavky s nízkou latencí. Dávkový režim zpracuje větší soubor najednou a upřednostňuje propustnost a cenu.
Jak se bezpečně nasadzuje nová verze?
Používá se tieňové vyhodnocení, canary provoz nebo A/B test s možností okamžitého návratu na predchádzajúcu verzi.
Co nejčastěji zvyšuje latenci?
Studený štart, presuny dat, nevhodná velikost dávky, pomalý postprocessing, sieťová komunikace a operace bez podpory cílového hardwaru.
Jaké údaje se mají logovat?
Identifikátor verze, časování, technický stav a bezpečné diagnostické signály. Citlivé vstupy se nemají ukladat automaticky bez právneho důvodu a ochranných pravidel.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- TensorFlow Serving, Architecture
- NIST AI Risk Management Framework
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.