Název: | Robust methodology for TTS enhancement evaluation |
Další názvy: | Robustní metodologie hodnocení vylepšení systému TTS |
Autoři: | Tihelka, Daniel Grůber, Martin Hanzlíček, Zdeněk |
Citace zdrojového dokumentu: | TIHELKA, Daniel; GRŮBER, Martin; HANZLÍČEK, Zdeněk. Robust methodology for TTS enhancement evaluation. In: Text, speech and dialogue. Berlin: Springer, 2013, p. 442-449. (Lecture notes in computer science; 8082). ISBN 978-3-642-40584-6. |
Datum vydání: | 2013 |
Nakladatel: | Springer |
Typ dokumentu: | článek article |
URI: | http://www.kky.zcu.cz/cs/publications/TihelkaDaniel_2013_Robustmethodology http://hdl.handle.net/11025/16972 |
ISBN: | 978-3-642-40584-6 |
Klíčová slova: | syntéza řeči;hodnocení;poslechové testy;statistická významnost |
Klíčová slova v dalším jazyce: | speech synthesis;evaluation;listening tests;statistical reliability |
Abstrakt: | Článek ukazuje na problematické a obvykle zanedbávané aspekty evaluace TTS systémů poslechovými testy. Je ukázáno, že obyčejný náhodný výběr frází k poslechu nemusí pokrýt případy, které jsou relevantní vzhledem k hodnocenému systému TTS. Je také ukázáno, že bez hlubší znalosti distribuce rozdílů v syntetické řeči, získaných porovnáním výstupů základního a hodnoceného systému, nelze vybrat spolehlivou množina frází k evaluaci. Předkládáme tedy, a na skutečných případech ukazujeme metodu, která v případě, že známe distribuci rozdílů, je schopna vyčíslit míru spolehlivosti poslechového testu stejně jako odhadnou pravděpodobnost neplatnosti závěrů získaných z výsledků poslechového testu. |
Abstrakt v dalším jazyce: | The paper points to problematic and usually neglected aspects of using listening tests for TTS evaluation. It shows that simple random selection of phrases to be listened to may not cover those cases which are relevant to the evaluated TTS system. Also, it shows that a reliable phrase set cannot be chosen without a deeper knowledge of the distribution of differences in synthetic speech, which are obtained by comparing the output generated by an evaluated TTS system to what stands as a baseline system. Having such knowledge, the method able to evaluate the reliability of listening tests, as related to the estimation of possible invalidity of listening results-derived conclusion, is proposed here and demonstrated on real examples. |
Práva: | © Daniel Tihelka - Martin Grůber - Zdeněk Hanzlíček |
Vyskytuje se v kolekcích: | Články / Articles (NTIS) |
Soubory připojené k záznamu:
Soubor | Popis | Velikost | Formát | |
---|---|---|---|---|
TihelkaDaniel_2013_Robustmethodology.pdf | Plný text | 372,5 kB | Adobe PDF | Zobrazit/otevřít |
Použijte tento identifikátor k citaci nebo jako odkaz na tento záznam:
http://hdl.handle.net/11025/16972
Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.