Odborná definícia
Význam a odborné vymedzenie pojmu
Mixture of experts, MoE, je architektúra pozostávajúca z viacerých špecializovaných podsietí a smerovacieho mechanizmu, ktorý pre každý vstup alebo token vyberá jedného či niekoľkých expertov. Pri sparse MoE sa aktivuje iba malá časť celkových parametrov, čo umožňuje zvýšiť kapacitu modelu bez úmerného rastu výpočtu na jeden príklad. Tréning potrebuje vyvažovanie zaťaženia, kapacitné limity a stabilnú routovaciu stratu, aby sa experti nezrútili na rovnakú funkciu alebo neboli nerovnomerne používaní.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Namiesto jednej obrovskej siete, ktorá spracuje každý token rovnakou cestou, má model viac odborných modulov. Router môže časť textu poslať expertovi, ktorý sa špecializoval na kód, inú časť modulu citlivému na syntax a ďalšiu všeobecnému expertovi. V praxi špecializácia nemusí mať ľudsky pomenovateľné hranice. Hlavnou výhodou je veľká celková kapacita pri obmedzenom počte aktívnych parametrov. Prevádzka je však náročná na komunikáciu medzi zariadeniami a na rovnomerné rozdelenie tokenov.
Časté otázky
Otázky, ktoré spresňujú význam
Čo znamená top-k routing?
Router priradí skóre expertom a aktivuje k expertov s najvyššou hodnotou. Výstupy sa potom skombinujú podľa routovacích váh.
Prečo treba load balancing loss?
Bez nej môže väčšina tokenov smerovať k niekoľkým expertom. To preťaží kapacitu, zníži paralelizmus a nechá ostatných expertov slabo vytrénovaných.
Má MoE nižší počet parametrov?
Nie. Celkový počet môže byť veľmi vysoký, ale na jeden token sa použije iba vybraná časť. Pamäť na uloženie váh zostáva významná.
Čo sa stane pri prekročení kapacity experta?
Niektoré implementácie tokeny presmerujú, zahodia alebo spracujú záložnou cestou. Také rozhodnutie môže ovplyvniť kvalitu aj deterministickosť.
Je expert ľudsky interpretovateľná doména?
Nie nevyhnutne. Špecializácia vzniká z optimalizácie a môže byť rozdelená podľa jemných štatistických vlastností, nie podľa jasných tém.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Shazeer et al., Sparsely-Gated Mixture-of-Experts
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.