Odborná definícia
Význam a odborné vymedzenie pojmu
XLM označuje rodinu metód cross-lingual language model pretraining, ktoré učia spoločné reprezentácie viacerých jazykov. Pôvodná práca predstavila monolingválny masked language modeling a supervised translation language modeling nad paralelnými vetami. Cieľom je prenášať znalosti medzi jazykmi pri klasifikácii, porozumení a preklade. Skratka XLM nie je všeobecným označením každého viacjazyčného modelu a nemá sa zamieňať s XLM-R. Výkon závisí od jazykového pokrytia, tokenizácie, vyváženia korpusu a dostupnosti paralelných dát.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak sa model učí slovenčinu, francúzštinu a arabčinu úplne oddelene, nemôže jednoducho preniesť spoločné významy. XLM vytvára priestor, v ktorom sa podobné vety z rôznych jazykov približujú. Pri supervised cieli vidí aj paralelné preklady a učí sa prepájať ich tokeny a kontext. Potom možno model natrénovať na označených príkladoch v jednom jazyku a časť schopnosti preniesť do ďalšieho. Kvalita prenosu však klesá pri slabo zastúpenom jazyku alebo odlišnom písme. Pri nasadení sa osobitne testujú mená, morfológia a jazyky, ktoré majú v tréningu málo textu.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi MLM a TLM v XLM?
MLM maskuje tokeny v monolingválnom texte. TLM spája paralelné vety do jedného vstupu a umožňuje, aby model pri rekonštrukcii využíval kontext z oboch jazykov.
Je XLM generatívny prekladový systém?
Rodina zahŕňala predtréning použiteľný aj pre preklad, ale názov sám neznamená hotový produkčný prekladač. Potrebná je architektúra a fine-tuning pre konkrétnu úlohu.
Čo je zero-shot cross-lingual transfer?
Model sa dolaďuje na označených dátach jedného jazyka a vyhodnotí sa v inom jazyku bez jeho úlohových štítkov. Úspech závisí od zarovnania reprezentácií.
Prečo tokenizácia ovplyvňuje nízkozdrojové jazyky?
Jazyk s malým podielom tréningových dát môže byť rozdelený na dlhé sekvencie vzácnych subwordov. To zvyšuje výpočty a oslabuje reprezentáciu slovných vzorov.
Je XLM-R novšia verzia rovnakého tréningového cieľa?
XLM-R používa veľký masked language model nad CommonCrawl dátami bez TLM cieľa. Ide o príbuznú, ale samostatne navrhnutú rodinu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Cross-lingual Language Model Pretraining XLM Repository
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.