Mixture of experts | AI slovník

Odborná definice

Mixture of experts, Moe, je architektura pozostávajúca z více špecializovaných podsietí a smerovacieho mechanizmu, který pro každý vstup nebo token vybírá jednoho či několika expertů. Při sparse Moe se aktivuje pouze malá část celkových parametrů, co umožňuje zvýšit kapacitu modelu bez úmerného rastu výpočtu na jeden příklad. Trénink potřebuje vyvažování zaťažení, kapacitné limity a stabilnou routovaci ztrátu, aby se experti nezrútili na stejnou funkci nebo neboli nerovnomerne používaní.

Srozumitelné vysvětlení

Místo jedné obrovskej sítě, která zpracuje každý token stejnou cestou, má model více odborných modulů. Router může část textu poslat expertovi, který se špecializoval na kód, jinou část modulu citlivému na syntax a další všeobecnému expertovi. V praxi špecializace nemusí mít ludsky pomenovatelné hranice. Hlavnou výhodou je velká celková kapacita při obmedzenom počtu aktívnych parametrů. Provoz je však náročná na komunikaci mezi zariadeniami a na rovnomerné rozdělení tokenů.

Časté otázky

Co znamená top-k routing?

Router přiřadí skóre expertom a aktivuje k expertů s nejvyšší hodnotou. Výstupy se potom skombinují podle routovacích váh.

Proč je třeba load balancing loss?

Bez ní může večšina tokenů směřovat k niekolkým expertom. To preťaží kapacitu, sníží paralelismus a nechá ostatních expertů slabo vytrénovaných.

Má Moe nižší počet parametrů?

Ne. Celkový počet může být velmi vysoký, ale na jeden token se použije pouze vybraná část. Paměť na uložení váh zůstává významná.

Co se stane při překročení kapacity experta?

Některé implementace tokeny presmerují, zahodia nebo spracují záložnou cestou. Také rozhodnutí může ovlivnit kvalitu i determinističnost.

Je expert ludsky interpretovatelná doména?

Ne nevyhnutelně. Špecializace vzniká z optimalizace a může být rozdělená podle jemných štatistických vlastností, ne podle jasných tém.

Související pojmy

Zdroje a redakční stopa

Shazeer et al., Sparsely-Gated Mixture-of-Experts

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.