Optimizer

Optimizer je algoritmus, ktorý podľa gradientov alebo iných signálov aktualizuje parametre modelu s cieľom znížiť stratovú funkciu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba jasne určiť optimalizovaný cieľ, obmedzenia, kompromisy a podmienky ukončenia výpočtu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je nevhodne zvolený cieľ, uviaznutie v slabom riešení alebo zlepšenie jednej metriky na úkor dôležitého obmedzenia. Treba sledovať kompromisy, stabilitu a podmienky ukončenia.

Optimizer sa od pojmov Optimization, Objective function, Neural architecture search odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.