YARN cluster manager

YARN cluster manager je správca zdrojov a plánovač úloh v ekosystéme Hadoop, ktorý prideľuje výpočtové kapacity distribuovaným dátovým a ML úlohám.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa sleduje dostupnosť, výkon, náklady, pozorovateľnosť, bezpečnosť a možnosť bezpečného návratu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je výpadok, nekonzistentná verzia, neprimerané náklady, únik údajov alebo nemožnosť reprodukovať výsledok. Prevádzka potrebuje monitoring, verziovanie a bezpečný návrat.

YARN cluster manager sa od pojmov XLA compiler, Zero-copy inference, Zero-downtime deployment odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.