Gradient descent

Gradient descent je iteratívny optimalizačný algoritmus, ktorý upravuje parametre proti smeru gradientu stratovej funkcie s cieľom znižovať chybu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba jasne určiť optimalizovaný cieľ, obmedzenia, kompromisy a podmienky ukončenia výpočtu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je nevhodne zvolený cieľ, uviaznutie v slabom riešení alebo zlepšenie jednej metriky na úkor dôležitého obmedzenia. Treba sledovať kompromisy, stabilitu a podmienky ukončenia.

Gradient descent sa od pojmov Hyperparameter tuning, Joint optimization, Bayesian optimization odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.