Voice conversion, definícia a použitie | AI slovník

Odborná definícia

Voice conversion mení hlasovú identitu, štýl, prízvuk alebo ďalšie paralingvistické vlastnosti existujúcej rečovej nahrávky pri snahe zachovať jej jazykový obsah a časovanie. Systém oddeľuje obsahové reprezentácie od speaker alebo style embeddingu a decoder vytvorí nový akustický signál. Na rozdiel od text-to-speech nevychádza primárne z textu, ale zo zdrojovej reči. Kvalitu ovplyvňuje disentanglement, prosódia, šum a rozdiel jazykov. Aplikácie zahŕňajú anonymizáciu, dabing aj rizikovú impersonáciu.

Zrozumiteľné vysvetlenie

Pri klonovaní hlasu model prečíta nový text hlasom cieľovej osoby. Pri voice conversion už existuje hovorená veta a systém zmení, kto alebo ako ju zdanlivo vyslovil. Obsah, tempo a pauzy môžu zostať podobné, kým farba hlasu sa nahradí iným profilom. To je užitočné pri dabingu alebo ochrane identity, ale môže preniesť aj emóciu a chyby zdrojového záznamu. Ak sa obsahová a hlasová reprezentácia neoddelia dobre, vo výstupe zostanú stopy pôvodného hovoriaceho alebo sa zmení výslovnosť.

Časté otázky

Ako sa voice conversion líši od voice cloning?

Conversion transformuje existujúcu reč a zachováva jej časový priebeh. Cloning sa často používa s TTS na vytvorenie úplne novej výpovede z textu.

Čo znamená any-to-any conversion?

Model dokáže prevádzať medzi hovoriacimi, ktorých počas tréningu nemusel vidieť, pomocou všeobecných obsahových a speaker reprezentácií.

Dá sa konverziou anonymizovať hlas?

Áno, ale jednoduchá zmena timbru nemusí odstrániť všetky biometrické stopy. Treba testovať speaker verification útoky aj spätnú rekonštrukciu.

Ako sa hodnotí kvalita konverzie?

Meria sa zrozumiteľnosť, podobnosť cieľovému hlasu, zachovanie obsahu, prirodzenosť, prosódia a úspešnosť automatického speaker verifikátora.

Môže systém meniť emóciu bez zmeny identity?

Niektoré modely oddeľujú style embedding od speaker identity a umožnia meniť emóciu alebo energiu. Oddelenie však nebýva úplné a vyžaduje kontrolu artefaktov.

Súvisiace pojmy

Zdroje a redakčná stopa

AutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder Loss StarGAN-VC: Non-parallel many-to-many voice conversion

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.