Odborná definícia
Význam a odborné vymedzenie pojmu
Temperature je kladný parameter, ktorý pred softmaxom škáluje logity modelu a tým mení ostrosť výsledného pravdepodobnostného rozdelenia. Hodnota menšia než jedna zvýrazní rozdiely medzi kandidátmi, vyššia hodnota rozdelenie sploští. Pri generovaní ovplyvňuje variabilitu vzorkovania, nie množstvo vedomostí ani pravdivosť modelu. Pri kalibrácii sa temperature scaling používa ako naučená transformácia logits na validačných dátach, čo je odlišný účel od kreatívneho dekódovania. Hodnota parametra sa uvádza spolu s modelom, seedom a ostatnými logits procesormi, inak experiment nemožno zopakovať.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model môže ďalšiemu tokenu priradiť niekoľko kandidátov s rôznymi skóre. Teplota mení, ako výrazne sa tieto rozdiely prejavia pred žrebovaním. Nízka hodnota dá favoritovi ešte väčšiu prevahu, vyššia otvorí priestor aj menej pravdepodobným slovám. Výstup môže byť pestrejší, ale nie automaticky lepší. Pri extrakcii údajov sa zvyčajne preferuje stabilita, pri tvorivom návrhu väčšia variabilita. Rovnaký názov sa používa aj pri kalibrácii, kde sa parameter učí z dát. Pri porovnávaní nastavení treba generovať viac vzoriek, pretože jedna odpoveď neukazuje skutočnú variabilitu.
Časté otázky
Otázky, ktoré spresňujú význam
Zaručí teplota nula deterministický výstup?
V mnohých API sa hodnota nula interpretuje ako voľba najpravdepodobnejšieho tokenu, ale úplná reprodukovateľnosť závisí aj od implementácie, hardvéru, seedu a ďalších nastavení.
Zvyšuje vyššia teplota halucinácie?
Môže zvýšiť pravdepodobnosť menej pravdepodobných pokračovaní a tým aj faktických chýb. Halucinácia však závisí aj od znalostí modelu, promptu, retrievalu a validácie.
Ako sa teplota kombinuje s top-p?
Teplota najprv upraví rozdelenie a top-p následne obmedzí kandidátov podľa kumulatívnej pravdepodobnosti. Ich spoločný účinok treba testovať, nie nastavovať izolovane.
Čo je temperature scaling pri klasifikácii?
Je to post-hoc kalibrácia, ktorá delí logity naučenou skalárnou hodnotou tak, aby pravdepodobnosti lepšie zodpovedali empirickej úspešnosti na validačných dátach.
Môže nízka teplota opraviť nesprávne fakty?
Nie. Iba znižuje rozmanitosť výberu. Ak model priraďuje najvyššiu pravdepodobnosť nesprávnemu tvrdeniu, nízka teplota ho môže generovať ešte konzistentnejšie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, Temperature On Calibration of Modern Neural Networks
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.