XLS-R | AI slovník | DNA marketing®

Odborná definice

XLS-R je rodina velkých samoučených modelů řečových reprezentací založená na wav2věc 2.0 a trénovaná na surovom zvuku z mnoha jazyků. Encoder maskuje latentní časové kroky a kontrastívnym cílem rozlišuje správnou kvantizovanou reprezentaci od negativních vzorků. Společný predtréning umožňuje fine-tuning pro rozpoznávání řeči, identifikaci jazyka nebo překlad, zejména při jazycích s malým množstvím prepisů. XLS-R není hotový univerzální ASR model bez dekódovacej hlavy. Výsledek ovlivňuje akustická doména, písmo, lexikón a dostupné štítky.

Srozumitelné vysvětlení

Prepisy řeči jsou drahé, ale samotných nahrávok existuje ovela více. XLS-R se nejprve učí ze zvuku bez textu. Skryje část latentní sekvence a zkouší určit, jaká rečová reprezentace tam patří. Proto se naučí fonetické a akustické vzory společné viacerým jazykem. Později stačí menší označený soubor na konkrétní jazyk a úlohu. Model však může zlyhávat při jiném mikrofóne, dialekte nebo hlučnom prostředí, pokud tyto podmínky neboli dostatečně pokryté. Pro produkci se zvlášť kalibruje i confidence, protože nízké WER nemusí znamenat spolehlivé skóre nejistoty.

Časté otázky

Jako XLS-R souvisí s wav2věc 2.0?

Používá stejný základní princip maskovaného kontrastívneho učení ze surovej vlny, ale škáluje trénink na velké množství jazyků a hodín zvuku.

Je XLS-R totožný s XLSR-53?

Ne. XLSR-53 je skorší model předtrénovaný v 53 jazycích. XLS-R označuje neskoršiu škálovanou rodinu s večším korpusem a modely až v miliardách parametrů.

Co se přidává při ASR fine-tuningu?

Nejčastěji lineární projekce na znaky nebo subwordy a CTC ztráta. Dekódování může používat jazykový model, lexikón nebo beam search.

Pomáhá velký jazyk vždy malému jazyku?

Ne. Pozitivní přenos závisí na fonetickej príbuznosti, množství dat a kapacity. Dominantné jazyky mohou ovlivnit reprezentace nevýhodne.

Jak se hodnotí nasazení XLS-R?

Kromě WER nebo CER se testují dialekty, hluk, zařízení, kódové prepínání, latence, paměť a chyby při vlastních menách či odbornom slovníku.

Související pojmy

Zdroje a redakční stopa

XLS-R, Self-supervised Cross-lingual Speech Representation Learning at Scale
Hugging Face, XLS-R

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.