Odborná definícia
Význam a odborné vymedzenie pojmu
Model serving je prevádzková vrstva, ktorá načíta konkrétnu verziu modelového artefaktu a sprístupní jeho inferenciu aplikáciám, používateľom alebo dávkovým procesom. Zahŕňa validáciu vstupnej schémy, predspracovanie, prideľovanie výpočtových zdrojov, smerovanie požiadaviek, tvorbu dávok, postprocessing, zdravotné kontroly a zber telemetrie. Serving nie je totožný s tréningom ani s celým nasadením produktu. Jeho správnosť závisí od konzistentnej verzie váh, kódu, slovníkov, prahov a rozhraní.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Natrénovaný model v notebooku je podobný kuchárskemu receptu, ktorý ešte nikto nevie objednať. Model serving z neho vytvorí fungujúcu kuchyňu s objednávkovým okienkom. Prijme požiadavku, skontroluje jej formát, pripraví suroviny v rovnakom poradí ako pri testovaní, spustí výpočet a výsledok prevedie do podoby, ktorej rozumie aplikácia. Ak sa vymení iba súbor váh, ale zostane starý tokenizér alebo prah, služba môže vracať technicky platné, no vecne nesprávne odpovede.
Časté otázky
Otázky, ktoré spresňujú význam
Je model serving rovnaký ako inferenčný endpoint?
Endpoint je jedno konkrétne rozhranie. Serving zahŕňa aj načítanie modelu, škálovanie, dávkovanie, verzie, monitoring a postup pri chybe.
Kedy sa používa online a kedy dávkový serving?
Online režim odpovedá na jednotlivé požiadavky s nízkou latenciou. Dávkový režim spracuje väčší súbor naraz a uprednostňuje priepustnosť a cenu.
Ako sa bezpečne nasadzuje nová verzia?
Používa sa tieňové vyhodnotenie, canary prevádzka alebo A/B test s možnosťou okamžitého návratu na predchádzajúcu verziu.
Čo najčastejšie zvyšuje latenciu?
Studený štart, presuny dát, nevhodná veľkosť dávky, pomalý postprocessing, sieťová komunikácia a operácie bez podpory cieľového hardvéru.
Aké údaje sa majú logovať?
Identifikátor verzie, časovanie, technický stav a bezpečné diagnostické signály. Citlivé vstupy sa nemajú ukladať automaticky bez právneho dôvodu a ochranných pravidiel.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- TensorFlow Serving, Architecture
- NIST AI Risk Management Framework
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.