Odborná definícia
Význam a odborné vymedzenie pojmu
Word error rate je metrika pre prepis reči vypočítaná ako súčet substitúcií, vynechaní a vložení delený počtom slov v referenčnom prepise. Počty chýb vznikajú z minimálnej editovacej vzdialenosti medzi normalizovanou referenciou a hypotézou. WER môže presiahnuť 100 percent, ak systém vloží veľa nadbytočných slov. Hodnota závisí od pravidiel tokenizácie, interpunkcie, čísiel, veľkých písmen, diakritiky a od toho, čo sa považuje za slovo. Metrika váži všetky slovné chyby rovnako, preto nemusí vyjadrovať významovú závažnosť, správnosť mien ani použiteľnosť pre konkrétny proces.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Referenčný prepis hovorí model dnes funguje a systém napíše model dobre funguje teraz. Porovnávací algoritmus hľadá najlacnejší spôsob, ako jednu vetu zmeniť na druhú, teda ktoré slovo nahradiť, vymazať alebo vložiť. Súčet týchto operácií sa vydelí počtom slov v správnom texte. Výsledok je jednoduchý a porovnateľný iba vtedy, keď oba tímy používajú rovnakú normalizáciu. V zdravotnom diktáte môže jedno zamenené meno lieku spôsobiť väčšie riziko než päť chýb v spojkách, hoci WER ich nerozlišuje.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je presný vzorec WER?
WER sa počíta ako S plus D plus I delené N, kde S sú substitúcie, D vynechania, I vloženia a N počet slov v referencii.
Prečo môže byť WER vyšší než 100 percent?
Počet vložených slov nie je obmedzený dĺžkou referencie. Systém môže produkovať dlhý halucinovaný text a vytvoriť viac chýb, než je referenčných slov.
Má sa odstrániť interpunkcia?
Závisí od cieľa. Ak model interpunkciu negeneruje, často sa normalizuje. Pri diktovaní, titulkoch alebo právnom prepise môže byť interpunkcia samostatnou požiadavkou.
Kedy je vhodnejší CER?
Pri jazykoch bez jasných hraníc slov, pri menách, kódoch alebo úlohách, kde je dôležitá znaková presnosť. Character Error Rate používa rovnaký princíp na znakoch.
Ako sa porovnávajú dva ASR systémy férovo?
Na rovnakom audiu, s rovnakou referenciou, normalizáciou, segmentáciou a slovníkom. Treba uviesť aj typ šumu, jazyk, doménu a interval neistoty.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- TensorFlow Hub, Wav2Vec2 fine-tuning and WER
- NIST, Speech Recognition Scoring Toolkit
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.