teplota pravděpodobnostního rozdělení | AI slovník

Odborná definice

Temperature je kladný parameter, který před softmaxom škáluje logity modelu a tím mění ostrosť výsledného pravděpodobnostního rozdělení. Hodnota menší než jedna zvýrazní rozdíly mezi kandidátmi, vyšší hodnota rozdělení sploští. Při generování ovlivňuje variabilitu vzorkování, ne množství vedomostí ani pravdivost modelu. Při kalibraci se temperature scaling používá jako naučená transformace logits na validačních datech, co je odlišný účel od kreatívneho dekódování. Hodnota parametru se uvádí spolu s modelem, seedom a ostatnými logits procesormi, jinak experiment nelze zopakovat.

Srozumitelné vysvětlení

Model může ďalšiemu tokenu přiřadit několik kandidátů s různými skóre. Teplota mění, jako výrazně se tyto rozdíly prejavia před žrebováním. Nízká hodnota dá favoritovi ještě větší prevahu, vyšší otevře prostor i méně pravdepodobným slovám. Výstup může být pestrejší, ale ne automaticky lepší. Při extrakcii údajů se obvykle preferuje stabilita, při tvorivom návrhu větší variabilita. Stejný název se používá i při kalibraci, kde se parameter učí z dat. Při porovnávání nastavení je třeba generovat více vzorků, protože jedna odpověď neukazuje skutečnou variabilitu.

Časté otázky

Zaručí teplota nula deterministický výstup?

V mnoha API se hodnota nula interpretuje jako volba najpravdepodobnejšieho tokenu, ale úplná reprodukovatelnost závisí i od implementace, hardwaru, seedu a dalších nastavení.

Zvyšuje vyšší teplota halucinace?

Může zvýšit pravděpodobnost méně pravdepodobných pokračování a tím i faktických chyb. Halucinace však závisí i od znalostí modelu, promptu, retrievalu a validace.

Jak se teplota kombinuje s top-p?

Teplota nejprve upraví rozdělení a top-p následně omezí kandidátů podle kumulatívnej pravděpodobnosti. Jejich společný účinek je třeba testovat, ne nastavovat izolovane.

Co je temperature scaling při klasifikaci?

Je to post-hoc kalibrace, která dělí logity naučenou skalárnou hodnotou tak, aby pravděpodobnosti lépe zodpovedali empirickej úspešnosti na validačních datech.

Může nízká teplota opravit nesprávně fakta?

Ne. Pouze snižuje rozmanitost výběru. Pokud model přiřazuje najvyššiu pravděpodobnost nesprávnemu tvrzení, nízká teplota ho může generovat ještě konzistentnejšie.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, Temperature On Calibration of Modern Neural Networks

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.