Odborná definice
Význam a odborné vymezení pojmu
Entropy je míra neurčitosti pravděpodobnostního rozdělení. Shannonova entropie se počítá jako záporný součet pravděpodobností násobených jejich logaritmami a dosahuje nízkou hodnotu při koncentrovanom rozdělení, vysokou při rovnomernejšom rozdělení. V strojovém učení se používá při výběru rozdělení v rozhodovacích stromoch, při odhade nejistoty predikce, v regularizaci a v reinforcement learningu. Hodnota závisí na základu logaritmu a neříká, zda je najpravdepodobnejšia třída správná.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Pokud model přiřadí jedné třídě pravděpodobnost 99 procent, jeho rozdělení má nízkou entropiu, protože je rozhodnuté. Pokud rozdělí pravděpodobnost přibližně stejně mezi peť možností, entropie je vysoká. To však neznamená, že první model má pravdu. Může být sebavedomo chybný. Entropie měří rozptýlení predikovaných možností, ne soulad s realitou. Při aktívnom učení se často vybírají případy s vysokou entropiou, ale při posune dat může být model neisto i nesprávně kalibrovaný. Proto ji nelze zamieňat s pravděpodobností chyby.
Časté otázky
Otázky, které upřesňují význam
Jaká je maximálna entropie klasifikace?
Při pevnom počtu tříd je najvyššia, když mají všechny třídy stejnou pravděpodobnost. Číselná hodnota závisí na počtu tříd a základu logaritmu.
Je nízká entropie důkazem správné predikce?
Ne. Znamená pouze, že rozdělení je koncentrované. Prehnane sebavedomý model může mít nízkou entropiu i při nesprávné třídě.
Jak se entropie liší od cross-entropy loss?
Entropie popisuje nejistotu jednoho rozdělení. Cross-entropy porovnává cílové rozdělení s predikovaným a používá se jako tréninková ztráta.
Proč se entropie používá v rozhodovacích stromoch?
Rozdělení uzla se vybírá tak, aby znížilo neurčitosť tříd v dcérskych uzlech. Rozdíl se označuje jako information gain.
Může se entropie použít na detekci neznámých vstupů?
Je to pomocný signál, ne záruka. Některé modely zůstávají sebavedomé mimo tréninkové distribuce, proto je třeba další OOD metody.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.