Baseline model, definícia a použitie | AI slovník

Odborná definícia

Baseline model je jednoduchý alebo existujúci model, ktorého výkon tvorí referenčný bod pre posúdenie nového riešenia. Môže ísť o pravidlo väčšinovej triedy, lineárny model, aktuálny produkčný systém, ľudský proces alebo predchádzajúcu verziu. Baseline musí používať rovnakú definíciu úlohy, dátové rozdelenie, metriky a prevádzkové obmedzenia ako kandidát. Jeho úlohou nie je byť slabý, ale určiť, či zložitejšie riešenie prináša merateľný a prakticky významný prínos oproti primeranej alternatíve.

Zrozumiteľné vysvetlenie

Tím môže vytvoriť drahý model na predikciu odchodu zákazníkov a získať presnosť 82 percent. Číslo samo osebe nič nehovorí. Ak jednoduché pravidlo dosahuje 80 percent a nový model je desaťnásobne drahší, prínos môže byť malý. Ak produkčný proces dosahuje 65 percent pri rovnakej citlivosti na rizikovú skupinu, zlepšenie je podstatnejšie. Baseline preto vytvára kontext, chráni pred obdivom izolovanej metriky a pomáha rozhodnúť, či zložitosť, náklady a riziko nového modelu majú opodstatnenie.

Časté otázky

Aký má byť dobrý baseline model?

Má byť relevantný, reprodukovateľný a primerane konkurencieschopný. Pre klasifikáciu môže zahŕňať väčšinovú triedu aj jednoduchý logistický model. V produkčnom projekte je často najdôležitejším baseline aktuálny proces, nie akademicky triviálny odhad.

Môže byť baseline ľudský výkon?

Áno, ak sú úlohy, vstupy a hodnotenie porovnateľné. Treba však zachytiť rozdiely medzi ľuďmi, časové náklady, možnosť konzultácie a neistotu referenčného merania. Jedno číslo od jedného hodnotiteľa je slabý benchmark.

Prečo nestačí porovnať iba accuracy?

Model môže mať podobnú accuracy, ale inú citlivosť, kalibráciu, latenciu, cenu alebo dopad na skupiny používateľov. Baseline porovnanie má pokrývať metriky, ktoré odrážajú reálny účel a riziká aplikácie.

Kedy treba baseline aktualizovať?

Keď sa zmení produkčný proces, distribúcia dát, cieľová metrika alebo dostupná technológia. Historicky slabá referencia môže umelo nafúknuť prínos nového modelu. Pri dlhom projekte sa oplatí baseline zmraziť pre experiment a súčasne evidovať nový stav produkcie.

Čo je heuristický baseline?

Je to jednoduché pravidlo založené na doménovej znalosti, napríklad odporučiť najpredávanejší produkt alebo označiť transakciu nad stanoveným limitom. Často odhalí, či model skutočne zachytáva zložitejší vzťah alebo iba reprodukuje očividnú heuristiku.

Súvisiace pojmy

Zdroje a redakčná stopa

Google Machine Learning Glossary, baseline
Google Machine Learning Glossary

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.