Odborná definícia
Odborná definícia
Federated averaging, skrátene FedAvg, je algoritmus federated learning, pri ktorom vybraní klienti dostanú aktuálny globálny model, vykonajú niekoľko lokálnych optimalizačných krokov a odošlú aktualizované parametre alebo rozdiely. Server následne vytvorí nový globálny stav váženým priemerom, často podľa počtu lokálnych príkladov. Viac lokálnych krokov znižuje počet komunikačných kôl, no pri neidenticky rozdelených dátach môže viesť ku client drift a nestabilnej konvergencii.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Sto telefónov dostane rovnakú verziu modelu klávesnice. Každý ju krátko zlepší na vlastných lokálnych príkladoch a odošle iba update. Server nevezme jednoduchý hlas, ale zváži príspevky podľa definovaného pravidla a vytvorí novú verziu pre ďalšie kolo. Ak jeden telefón vidí úplne inú jazykovú distribúciu alebo vykoná priveľa lokálnych krokov, jeho model sa môže vzdialiť od ostatných. FedAvg preto potrebuje výber klientov, clipping, monitoring a vhodnú serverovú optimalizáciu.
Časté otázky
Časté otázky
Prečo FedAvg vykonáva viac lokálnych krokov?
Znižuje množstvo drahej komunikácie medzi klientmi a serverom. Príliš veľa krokov však môže zhoršiť zlučovanie pri heterogénnych dátach.
Ako sa určujú váhy klientov?
Pôvodný postup často váži update počtom lokálnych tréningových príkladov. Iné schémy môžu zohľadniť kvalitu, spoľahlivosť alebo fairness cieľ.
Čo je client drift?
Lokálne modely sa pri odlišných distribúciách posúvajú rôznymi smermi. Ich priemer potom nemusí zodpovedať kroku, ktorý by vznikol na centralizovaných dátach.
Je priemerovanie odolné voči škodlivému klientovi?
Nie automaticky. Manipulovaný update môže ovplyvniť globálny model. Potrebné sú robustné agregácie, clipping, detekcia anomálií a bezpečnostné kontroly.
Musí server vidieť každý individuálny update?
Nie. Secure aggregation môže skryť jednotlivé príspevky a odhaliť iba agregovaný súčet, hoci tým komplikuje niektoré diagnostické a obranné metódy.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- McMahan et al., Communication-Efficient Learning of Deep Networks from Decentralized Data
- Google Research, A Field Guide to Federated Optimization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.