Kubernetes for AI

Kubernetes for AI je použitie kontajnerového orchestrátora Kubernetes na plánovanie, škálovanie, izoláciu a obnovu tréningových a inferenčných služieb.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa sleduje dostupnosť, výkon, náklady, pozorovateľnosť, bezpečnosť a možnosť bezpečného návratu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je výpadok, nekonzistentná verzia, neprimerané náklady, únik údajov alebo nemožnosť reprodukovať výsledok. Prevádzka potrebuje monitoring, verziovanie a bezpečný návrat.

Kubernetes for AI sa od pojmov Key-value cache, JAX, Jupyter Notebook odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.