Odborná definícia
Odborná definícia
XLS-R je rodina veľkých samoučených modelov rečových reprezentácií založená na wav2vec 2.0 a trénovaná na surovom zvuku z mnohých jazykov. Encoder maskuje latentné časové kroky a kontrastívnym cieľom rozlišuje správnu kvantizovanú reprezentáciu od negatívnych vzoriek. Spoločný predtréning umožňuje fine-tuning pre rozpoznávanie reči, identifikáciu jazyka alebo preklad, najmä pri jazykoch s malým množstvom prepisov. XLS-R nie je hotový univerzálny ASR model bez dekódovacej hlavy. Výsledok ovplyvňuje akustická doména, písmo, lexikón a dostupné štítky.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Prepisy reči sú drahé, ale samotných nahrávok existuje oveľa viac. XLS-R sa najprv učí zo zvuku bez textu. Skryje časť latentnej sekvencie a skúša určiť, aká rečová reprezentácia tam patrí. Preto sa naučí fonetické a akustické vzory spoločné viacerým jazykom. Neskôr stačí menší označený súbor na konkrétny jazyk a úlohu. Model však môže zlyhávať pri inom mikrofóne, dialekte alebo hlučnom prostredí, ak tieto podmienky neboli dostatočne pokryté. Pre produkciu sa osobitne kalibruje aj confidence, pretože nízke WER nemusí znamenať spoľahlivé skóre neistoty.
Časté otázky
Časté otázky
Ako XLS-R súvisí s wav2vec 2.0?
Používa rovnaký základný princíp maskovaného kontrastívneho učenia zo surovej vlny, ale škáluje tréning na veľké množstvo jazykov a hodín zvuku.
Je XLS-R totožný s XLSR-53?
Nie. XLSR-53 je skorší model predtrénovaný v 53 jazykoch. XLS-R označuje neskoršiu škálovanú rodinu s väčším korpusom a modelmi až v miliardách parametrov.
Čo sa pridáva pri ASR fine-tuningu?
Najčastejšie lineárna projekcia na znaky alebo subwordy a CTC strata. Dekódovanie môže používať jazykový model, lexikón alebo beam search.
Pomáha veľký jazyk vždy malému jazyku?
Nie. Pozitívny prenos závisí od fonetickej príbuznosti, množstva dát a kapacity. Dominantné jazyky môžu ovplyvniť reprezentácie nevýhodne.
Ako sa hodnotí nasadenie XLS-R?
Okrem WER alebo CER sa testujú dialekty, hluk, zariadenia, kódové prepínanie, latencia, pamäť a chyby pri vlastných menách či odbornom slovníku.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- XLS-R, Self-supervised Cross-lingual Speech Representation Learning at Scale
- Hugging Face, XLS-R
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.