Hebbovské učení | AI slovník

Odborná definice

Hebbian learning je rodina lokálních pravidel, při kterých se váha spojení mění podle súčasnej aktivity propojených jednotek. Zjednodušene, opakovaná společná aktivace pro-synaptického a post-synaptického neuronu posilňuje jejich spojení. Základní pravidlo je bez učitela a nevyžaduje globálně zpětné šíření chyby, proto je významné v neurovede i neuromorfných systémech. Neobmedzená pozitívna zpětná vazba však může vést k rastu váh a strate selektivity. Praktické varianty proto používají normalizaci, súťaž, práh nebo Ojaovo pravidlo.

Srozumitelné vysvětlení

Pokud se dvě aktivity v síti pravidelne objavují spolu, spojení mezi nimi se začne posilňovat. Při vizuálnych datech může neuron opakovaně vidět hranu v stejném smere a postupně se na ňu špecializovat bez toho, aby dostal název třídy. Je to podobné vyšliapání chodníka, který se používáním stává priechodnejší. Keby se však každý často používaný chodník pouze rozširoval, celá mapa by se časem zliala. Hebbovské modely proto potřebují mechanismus, který váhy brzdí nebo núti jednotky súťažit, jinak se stabilní reprezentace nevytvorí.

Časté otázky

Je Hebbian learning to jisté jako věta neurons that fire together wire together?

Tato věta je populárne zhrnutie, ne přesná matematická špecifikace. Hebbova původná myšlienka popisuje změnu účinnosti spojení při opakovanej súvisiacej aktivite, zatímco konkrétně algoritmy používají různé rovnice a časování.

Potřebuje Hebbovské učení labely?

Základní pravidlo ne. Učí se ze statistické souvislosti aktivací a patří k lokálnemu samoorganizovanému učení. Hybridní systémy ho však mohou kombinovat s odměnou, dohladom nebo spetným šírením.

Proč váhy bez omezení rastou?

Pokud jsou obě jednotky často aktivně, kladná aktualizace se opakuje a silnější spojení může podporit další společnou aktivaci. Normalizace nebo záporný člen viazaný na výstup stabilizují velikost váhového vektora.

Co řeší Ojaovo pravidlo?

Doplňa Hebbovský člen o normalizačnou korekci. Při jednoduchých podmínkách vede neuron k hlavnému vlastnému smeru vstupní kovariančnej matice, takže spojuje lokálně učení s princípom podobným PCA.

Kde se používá v modernej AI?

Objevuje se v neuromorfných čipoch, spiking neural networks, lokálních adaptačných vrstvách a výskume alternatív k backpropagation. V běžných velkých modelech zatím dominuje gradientní učení, protože snazší optimalizuje globální cíl.

Související pojmy

Zdroje a redakční stopa

Hebb, The Organization of Behavior (doi.org) Oja, Simplified neuron model as a principal component analyzer (doi.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.