Odborná definícia
Odborná definícia
Entropy je miera neurčitosti pravdepodobnostného rozdelenia. Shannonova entropia sa počíta ako záporný súčet pravdepodobností násobených ich logaritmami a dosahuje nízku hodnotu pri koncentrovanom rozdelení, vysokú pri rovnomernejšom rozdelení. V strojovom učení sa používa pri výbere rozdelenia v rozhodovacích stromoch, pri odhade neistoty predikcie, v regularizácii a v reinforcement learningu. Hodnota závisí od základu logaritmu a nehovorí, či je najpravdepodobnejšia trieda správna.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak model priradí jednej triede pravdepodobnosť 99 percent, jeho rozdelenie má nízku entropiu, pretože je rozhodnuté. Ak rozdelí pravdepodobnosť približne rovnako medzi päť možností, entropia je vysoká. To však neznamená, že prvý model má pravdu. Môže byť sebavedomo chybný. Entropia meria rozptýlenie predikovaných možností, nie súlad s realitou. Pri aktívnom učení sa často vyberajú prípady s vysokou entropiou, no pri posune dát môže byť model neisto aj nesprávne kalibrovaný. Preto ju nemožno zamieňať s pravdepodobnosťou chyby.
Časté otázky
Časté otázky
Aká je maximálna entropia klasifikácie?
Pri pevnom počte tried je najvyššia, keď majú všetky triedy rovnakú pravdepodobnosť. Číselná hodnota závisí od počtu tried a základu logaritmu.
Je nízka entropia dôkazom správnej predikcie?
Nie. Znamená iba, že rozdelenie je koncentrované. Prehnane sebavedomý model môže mať nízku entropiu aj pri nesprávnej triede.
Ako sa entropia líši od cross-entropy loss?
Entropia opisuje neistotu jedného rozdelenia. Cross-entropy porovnáva cieľové rozdelenie s predikovaným a používa sa ako tréningová strata.
Prečo sa entropia používa v rozhodovacích stromoch?
Rozdelenie uzla sa vyberá tak, aby znížilo neurčitosť tried v dcérskych uzloch. Rozdiel sa označuje ako information gain.
Môže sa entropia použiť na detekciu neznámych vstupov?
Je to pomocný signál, nie záruka. Niektoré modely zostávajú sebavedomé mimo tréningovej distribúcie, preto treba ďalšie OOD metódy.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.