Inductive bias, definícia a použitie | AI slovník

Odborná definícia

Inductive bias je súbor predpokladov, ktoré vedú učiaci algoritmus pri výbere riešenia pre nepozorované prípady. Keď viac modelov rovnako dobre vysvetľuje tréningové dáta, bias určuje, ktorému sa dá prednosť. Môže byť zabudovaný do architektúry, napríklad lokalita a zdieľanie váh v konvolučnej sieti, do regularizácie, dátovej augmentácie, optimalizácie alebo prioru. Bez akejkoľvek preferencie nemožno z konečnej vzorky spoľahlivo generalizovať. Induktívny bias nie je automaticky nežiaduca spoločenská zaujatosť, hoci nevhodný predpoklad môže zhoršiť výkon pre určité skupiny alebo prostredia.

Zrozumiteľné vysvetlenie

Z niekoľkých bodov možno nakresliť nekonečne veľa kriviek. Učiaci algoritmus potrebuje pravidlo, prečo uprednostní hladkú čiaru pred divoko zvlnenou, hoci obe prechádzajú tréningovými bodmi. Toto pravidlo je induktívny bias. Konvolučná sieť predpokladá, že rovnaký vizuálny vzor môže byť užitočný na rôznych miestach obrazu. Strom preferuje postupné delenie priestoru podľa vlastností. Dobré skreslenie zodpovedá štruktúre problému a znižuje množstvo potrebných dát. Zlé môže model nútiť ignorovať vzťah, ktorý je v cieľovej doméne podstatný.

Časté otázky

Je inductive bias vždy chyba?

Nie. Je nevyhnutným predpokladom generalizácie. Problém vzniká vtedy, keď preferencia algoritmu nezodpovedá dátovému procesu alebo systematicky poškodzuje konkrétne prípady.

Aký bias má konvolučná neurónová sieť?

Používa lokálne receptívne polia a zdieľané filtre, čím predpokladá význam lokálnych vzorov a určitú prenositeľnosť pri posune. To je vhodné pre obrazy, nie pre každú štruktúru.

Ako regularizácia vytvára induktívnu preferenciu?

Penalizuje vybrané riešenia, napríklad veľké váhy alebo zložité funkcie. Z množiny modelov s podobnou tréningovou chybou tak zvýhodní jednoduchší alebo hladší variant.

Môžu dáta zmeniť vplyv architektonického biasu?

Veľký a rozmanitý dataset môže prekonať niektoré nevhodné preferencie, ale architektúra stále určuje priestor funkcií a efektívnosť učenia. Pri malých dátach býva jej vplyv výraznejší.

Ako sa porovnávajú dva induktívne biasy?

Modely sa testujú na úlohách s kontrolovanou štruktúrou, distribučnom posune a rôznej veľkosti tréningu. Ablácia ukáže, či konkrétny predpoklad pomáha práve tam, kde sa očakáva.

Súvisiace pojmy

Zdroje a redakčná stopa

Mitchell, The Need for Biases in Learning Generalizations (cs.cmu.edu) Deep Learning, Chapter 5, Machine Learning Basics (deeplearningbook.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.