Odborná definice
Odborná definice
Entropy je míra neurčitosti pravděpodobnostního rozdělení. Shannonova entropie se počítá jako záporný součet pravděpodobností násobených jejich logaritmami a dosahuje nízkou hodnotu při koncentrovanom rozdělení, vysokou při rovnomernejšom rozdělení. V strojovém učení se používá při výběru rozdělení v rozhodovacích stromoch, při odhade nejistoty predikce, v regularizaci a v reinforcement learningu. Hodnota závisí na základu logaritmu a neříká, zda je najpravdepodobnejšia třída správná.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Pokud model přiřadí jedné třídě pravděpodobnost 99 procent, jeho rozdělení má nízkou entropiu, protože je rozhodnuté. Pokud rozdělí pravděpodobnost přibližně stejně mezi peť možností, entropie je vysoká. To však neznamená, že první model má pravdu. Může být sebavedomo chybný. Entropie měří rozptýlení predikovaných možností, ne soulad s realitou. Při aktívnom učení se často vybírají případy s vysokou entropiou, ale při posune dat může být model neisto i nesprávně kalibrovaný. Proto ji nelze zamieňat s pravděpodobností chyby.
Časté otázky
Časté otázky
Jaká je maximálna entropie klasifikace?
Při pevnom počtu tříd je najvyššia, když mají všechny třídy stejnou pravděpodobnost. Číselná hodnota závisí na počtu tříd a základu logaritmu.
Je nízká entropie důkazem správné predikce?
Ne. Znamená pouze, že rozdělení je koncentrované. Prehnane sebavedomý model může mít nízkou entropiu i při nesprávné třídě.
Jak se entropie liší od cross-entropy loss?
Entropie popisuje nejistotu jednoho rozdělení. Cross-entropy porovnává cílové rozdělení s predikovaným a používá se jako tréninková ztráta.
Proč se entropie používá v rozhodovacích stromoch?
Rozdělení uzla se vybírá tak, aby znížilo neurčitosť tříd v dcérskych uzlech. Rozdíl se označuje jako information gain.
Může se entropie použít na detekci neznámých vstupů?
Je to pomocný signál, ne záruka. Některé modely zůstávají sebavedomé mimo tréninkové distribuce, proto je třeba další OOD metody.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.