Ansámblové učení | AI slovník

Odborná definice

Ensemble learning je přístup, který kombinuje predikce více modelů s cílem dosáhnout lepší přesnost, stabilitu nebo odhad nejistoty než při jednom členovi. Výsledky se mohou priemerovat, hlasovat, vážiť nebo vstupovat do meta-modelu. Bagging snižuje varianci tréninkem na odlišných vzorcích, boosting buduje členů postupně se zameráním na chyby a stacking učí kombinátor z out-of-fold predikcí. Přínos závisí na kvality i rozmanitosti chyb, ne pouze od počtu modelů.

Srozumitelné vysvětlení

Pokud peť modelů dělá přesně stejnou chybu, jejich hlasování ji neopraví. Ansámbel pomáhá tehdy, když jednotliví členovia zachycují problém odlišne. Random forest například kombinuje stromy trénované na různých vzorcích a podmnožinách atributů. Při LLM může systém vyžiadat více řešení a následně jejich vybrat nebo agregovat, co však zvyšuje náklady. Hodnotit je třeba celý rozhodovací proces, protože silnější průměr může zakrýt slabý výkon na menšinové skupině. Rozmanitost chyb se proto měří, ne pouze předpokládá.

Časté otázky

Jaký je rozdíl mezi baggingom a boostingom?

Bagging trénuje členů převážně nezávisle a agreguje jejich, čím tlmí varianci. Boosting přidává modely postupně tak, aby opravovali zvyškové chyby předchozích.

Co je stacking?

Základní modely vytvoří predikce, které se stanou vstupem meta-modelu. Na trénink kombinátora se používají out-of-fold výstupy, aby nevznikl únik.

Musí ansámbel obsahovat různé architektury?

Ne. Rozmanitost může vzniknout i z odlišných seedů, vzorků, feature, hyperparametrů nebo checkpointů stejné architektury.

Jako ansámblování ovlivňuje latenci?

Pokud se všetci členovia spúšťají při každé požadavku, roste výpočet i paměť. Pomoci může paralelizace, kaskáda nebo distilace ansámblu.

Je větší ansámbel vždy lepší?

Ne. Prírastok se zmenšuje a korelované modely přidávají málo informace. Každý nový člen se posuzuje podle přínosu k celku a provozních nákladů.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.