Odborná definícia
Odborná definícia
Hebbian learning je rodina lokálnych pravidiel, pri ktorých sa váha spojenia mení podľa súčasnej aktivity prepojených jednotiek. Zjednodušene, opakovaná spoločná aktivácia pre-synaptického a post-synaptického neurónu posilňuje ich spojenie. Základné pravidlo je bez učiteľa a nevyžaduje globálne spätné šírenie chyby, preto je významné v neurovede aj neuromorfných systémoch. Neobmedzená pozitívna spätná väzba však môže viesť k rastu váh a strate selektivity. Praktické varianty preto používajú normalizáciu, súťaž, prah alebo Ojaovo pravidlo.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak sa dve aktivity v sieti pravidelne objavujú spolu, spojenie medzi nimi sa začne posilňovať. Pri vizuálnych dátach môže neurón opakovane vidieť hranu v rovnakom smere a postupne sa na ňu špecializovať bez toho, aby dostal názov triedy. Je to podobné vyšliapaniu chodníka, ktorý sa používaním stáva priechodnejší. Keby sa však každý často používaný chodník iba rozširoval, celá mapa by sa časom zliala. Hebbovské modely preto potrebujú mechanizmus, ktorý váhy brzdí alebo núti jednotky súťažiť, inak sa stabilná reprezentácia nevytvorí.
Časté otázky
Časté otázky
Je Hebbian learning to isté ako veta neurons that fire together wire together?
Táto veta je populárne zhrnutie, nie presná matematická špecifikácia. Hebbova pôvodná myšlienka opisuje zmenu účinnosti spojenia pri opakovanej súvisiacej aktivite, zatiaľ čo konkrétne algoritmy používajú rôzne rovnice a časovanie.
Potrebuje Hebbovské učenie labely?
Základné pravidlo nie. Učí sa zo štatistickej súvislosti aktivácií a patrí k lokálnemu samoorganizovanému učeniu. Hybridné systémy ho však môžu kombinovať s odmenou, dohľadom alebo spätným šírením.
Prečo váhy bez obmedzenia rastú?
Ak sú obe jednotky často aktívne, kladná aktualizácia sa opakuje a silnejšie spojenie môže podporiť ďalšiu spoločnú aktiváciu. Normalizácia alebo záporný člen viazaný na výstup stabilizujú veľkosť váhového vektora.
Čo rieši Ojaovo pravidlo?
Dopĺňa Hebbovský člen o normalizačnú korekciu. Pri jednoduchých podmienkach vedie neurón k hlavnému vlastnému smeru vstupnej kovariančnej matice, takže spája lokálne učenie s princípom podobným PCA.
Kde sa používa v modernej AI?
Objavuje sa v neuromorfných čipoch, spiking neural networks, lokálnych adaptačných vrstvách a výskume alternatív k backpropagation. V bežných veľkých modeloch zatiaľ dominuje gradientné učenie, pretože ľahšie optimalizuje globálny cieľ.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Hebb, The Organization of Behavior (doi.org) Oja, Simplified neuron model as a principal component analyzer (doi.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.