GPU

GPU je grafický procesor s vysokou paralelnou priepustnosťou, ktorý urýchľuje maticové operácie používané pri tréningu a inferencii neurónových sietí.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa sleduje dostupnosť, výkon, náklady, pozorovateľnosť, bezpečnosť a možnosť bezpečného návratu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je výpadok, nekonzistentná verzia, neprimerané náklady, únik údajov alebo nemožnosť reprodukovať výsledok. Prevádzka potrebuje monitoring, verziovanie a bezpečný návrat.

GPU sa od pojmov Graph database, Feature store, Inference endpoint odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.