Odborná definícia
Význam a odborné vymedzenie pojmu
Fine-tuning je ďalší tréning predtrénovaného modelu na dátach alebo cieli špecifickom pre novú úlohu, doménu alebo požadované správanie. Aktualizovať možno všetky parametre, vybrané vrstvy alebo malú sadu adaptérov. Učenie zvyčajne používa nižší learning rate a potrebuje samostatnú validáciu, aby sa obmedzilo preučenie, catastrophic forgetting a regresie mimo cieľovej oblasti. Dolaďovanie mení modelové váhy, čím sa odlišuje od promptovania, retrievalu a kontextových demonštrácií.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Všeobecný jazykový model môže poznať právnický štýl, ale nevie presne dodržiavať interný formát odpovede. Tím pripraví kvalitné dvojice vstupov a cieľových výstupov a model na nich opatrne dolaďuje. Ak dataset obsahuje opakované chyby alebo príliš úzky slovník, model ich prevezme a môže stratiť časť pôvodnej univerzálnosti. Preto sa porovnáva s baseline, testujú sa nezahrnuté situácie a uchováva sa verzia tréningových dát, hyperparametrov aj checkpointu.
Časté otázky
Otázky, ktoré spresňujú význam
Kedy je fine-tuning vhodnejší než prompt engineering?
Keď sa opakovane vyžaduje stabilný štýl, formát alebo správanie, ktoré prompt nedokáže spoľahlivo udržať, a je dostupný dostatok kvalitných príkladov.
Čo je full fine-tuning?
Aktualizujú sa všetky alebo takmer všetky parametre modelu. Ponúka vysokú flexibilitu, ale vyžaduje viac pamäte, výpočtu a kontrol proti zabúdaniu.
Ako sa líši parameter-efficient fine-tuning?
Mení iba malú časť parametrov alebo pridáva adaptéry, napríklad LoRA. Znižuje náklady a uľahčuje správu viacerých doménových variantov.
Prečo treba validation set oddelený od tréningu?
Umožní sledovať generalizáciu a vyberať checkpoint bez hodnotenia na rovnakých príkladoch, z ktorých sa model priamo učil.
Môže fine-tuning doplniť aktuálne fakty?
Môže ovplyvniť znalosti, ale nie je ideálnym mechanizmom na často sa meniace informácie. Pre aktuálnosť býva vhodnejší retrieval s verziovanými zdrojmi.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.