Model serving

Model serving je prevádzkové sprístupnenie modelu aplikáciám prostredníctvom API, dávkového procesu alebo streamu s riadením výkonu, verzií a škálovania.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa sleduje dostupnosť, výkon, náklady, pozorovateľnosť, bezpečnosť a možnosť bezpečného návratu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je výpadok, nekonzistentná verzia, neprimerané náklady, únik údajov alebo nemožnosť reprodukovať výsledok. Prevádzka potrebuje monitoring, verziovanie a bezpečný návrat.

Model serving sa od pojmov Model registry, Model monitoring, MLflow odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.