Odborná definícia
Význam a odborné vymedzenie pojmu
Language model je pravdepodobnostný alebo skórovací model, ktorý zachytáva štruktúru sekvencií jazykových jednotiek, napríklad znakov, slov alebo tokenov. Autoregresívny model odhaduje pravdepodobnosť ďalšieho tokenu vzhľadom na predchádzajúci kontext, maskovaný model rekonštruuje skryté časti a sekvenčno-sekvenčný model podmieňuje výstup ďalším vstupom. Jazykový model môže byť štatistický aj neurónový. Jeho pravdepodobnostná plynulosť neznamená automaticky faktickú správnosť ani porozumenie sveta.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Jazykový model sa učí, aké pokračovania sú v danom kontexte pravdepodobné. Po slovách „hlavné mesto Slovenska je“ pridelí vysoké skóre tokenom tvoriacim Bratislava, pretože podobný vzor videl v dátach. Rovnaký mechanizmus však môže vytvoriť gramaticky presvedčivú nepravdu, keď chýba spoľahlivý faktický základ. Nie každý jazykový model je obrovský chatbot. Môže ísť aj o malý model na dopĺňanie klávesnice, rozpoznávanie reči, hodnotenie prekladu alebo detekciu nezvyčajných viet.
Časté otázky
Otázky, ktoré spresňujú význam
Čo presne jazykový model predpovedá?
Najčastejšie pravdepodobnosť tokenu alebo celej sekvencie. Konkrétny cieľ závisí od tréningovej úlohy, napríklad next-token prediction alebo masked token prediction.
Je perplexita mierou pravdivosti?
Nie. Perplexita vyjadruje, ako dobre model predikuje tokeny v korpuse. Text môže byť jazykovo pravdepodobný a zároveň vecne nesprávny.
Môže model pracovať bez slovníka celých slov?
Áno. Moderné systémy často používajú subword tokeny alebo bajty, ktoré umožňujú skladať neznáme slová z menších jednotiek.
Ako sa jazykový model líši od embedding modelu?
Jazykový model hodnotí alebo generuje sekvencie. Embedding model primárne mapuje vstup na vektor vhodný pre podobnosť, klasifikáciu či vyhľadávanie.
Prečo záleží na kontextovom okne?
Určuje, koľko tokenov môže model pri výpočte zohľadniť. Dlhšie okno zvyšuje dostupný kontext, nie zaručenú schopnosť využiť každý detail.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, language model
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.