Odborná definícia
Význam a odborné vymedzenie pojmu
Foundation model je model trénovaný na rozsiahlych a rozmanitých dátach, spravidla pomocou self-supervised učenia, ktorý možno adaptovať na široké spektrum následných úloh. Adaptácia môže prebiehať promptovaním, retrievalom, fine-tuningom, nástrojmi alebo pridaním špecializovaných hláv. Šírka použitia vytvára spoločný technologický základ pre viac aplikácií, ale aj prenášanie rovnakých chýb, obmedzení a systémových rizík. Pojem neznamená, že model je univerzálny, spoľahlivý alebo vhodný bez kontextového testovania.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Jeden veľký jazykový model môže slúžiť ako jadro asistenta, sumarizátora, vyhľadávania aj klasifikácie. Každá aplikácia ho však obklopí inými dátami, promptmi, nástrojmi a kontrolami. Chyba v základnom modeli sa preto môže prejaviť v mnohých produktoch naraz, zatiaľ čo konkrétne riziko vzniká aj z integračnej vrstvy. Pri výbere nestačí sledovať benchmark. Potrebné sú informácie o tréningových dátach, podporovaných jazykoch, bezpečnostných hraniciach, licenciách a správaní v cieľovej doméne.
Časté otázky
Otázky, ktoré spresňujú význam
Je každý veľký model foundation model?
Nie nevyhnutne. Dôležitá je široká adaptovateľnosť na viac downstream úloh, nie iba počet parametrov alebo veľkosť tréningového datasetu.
Ako sa foundation model adaptuje na aplikáciu?
Pomocou promptov, in-context príkladov, retrievalu, fine-tuningu, nástrojov, guardrails a aplikačnej logiky. Jednotlivé vrstvy riešia odlišné potreby.
Prečo vzniká systemic risk?
Rovnaký model môže byť súčasťou veľkého množstva systémov. Zraniteľnosť, bias alebo nečakaná schopnosť sa tak môže šíriť naprieč aplikáciami.
Čo má obsahovať dokumentácia modelu?
Účel, architektúru, dátové zdroje v dostupnom rozsahu, evals, obmedzenia, bezpečnostné testy, licenciu, verziu, zmeny a odporúčaný kontext použitia.
Je foundation model hotový AI systém?
Nie. AI systém zahŕňa rozhranie, dáta, retrieval, nástroje, rozhodovacie pravidlá, monitoring, ľudí a prevádzkové procesy okolo modelu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST Glossary, foundation model
- Bommasani et al., On the Opportunities and Risks of Foundation Models
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.