Federované průměrování | AI slovník

Odborná definice

Federated averaging, zkráceně Fedavg, je algoritmus federated learning, při kterém vybraní klienti dostanou aktuální globální model, provedou několik lokálních optimalizačných kroků a odošlou aktualizované parametry nebo rozdíly. Server následně vytvoří nový globální stav váženým průměrem, často podle počtu lokálních příkladů. Více lokálních kroků snižuje počet komunikačných kůl, ale při neidenticky rozdělených datech může vést ku client drift a nestabilnej konvergencii.

Srozumitelné vysvětlení

Sto telefónů dostane stejnou verzi modelu klávesnice. Každý ji krátko zlepší na vlastních lokálních příkladech a odošle pouze update. Server nevezme jednoduchý hlas, ale zváži příspěvky podle definovaného pravidla a vytvoří novou verzi pro další kolo. Pokud jeden telefón vidí zcela jinou jazykovou distribuci nebo provede privela lokálních kroků, jeho model se může vzdialit od ostatních. Fedavg proto potřebuje výběr klientů, clipping, monitoring a vhodnou serverovou optimalizaci.

Časté otázky

Proč Fedavg provádí více lokálních kroků?

Snižuje množství drahej komunikace mezi klientmi a serverom. Příliš mnoho kroků však může zhoršit zlučování při heterogénnych datech.

Jak se určují váhy klientů?

Původní postup často váží update počtem lokálních tréninkových příkladů. Jiné schémata mohou zohladnit kvalitu, spolehlivost nebo fairness cíl.

Co je client drift?

Lokálně modely se při odlišných distribúciách posúvají různými smermi. Jejich průměr potom nemusí odpovídat kroku, který by vznikl na centralizovaných datech.

Je průměrování odolné vůči škodlivému klientovi?

Ne automaticky. Manipulovaný update může ovlivnit globální model. Potřebné jsou robustní agregace, clipping, detekce anomálií a bezpečnostní kontroly.

Musí server vidět každý individuálny update?

Ne. Secure aggregation může skrýt jednotlivé příspěvky a odhalit pouze agregovaný součet, ačkoli tím komplikuje některé diagnostické a obranné metody.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.