Hyperparameter tuning

Hyperparameter tuning je systematické skúšanie a výber hodnôt hyperparametrov podľa validačného výkonu, nákladov a ďalších prevádzkových kritérií.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba jasne určiť optimalizovaný cieľ, obmedzenia, kompromisy a podmienky ukončenia výpočtu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je nevhodne zvolený cieľ, uviaznutie v slabom riešení alebo zlepšenie jednej metriky na úkor dôležitého obmedzenia. Treba sledovať kompromisy, stabilitu a podmienky ukončenia.

Hyperparameter tuning sa od pojmov Gradient descent, Joint optimization, Neural architecture search odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.