| Title: | NN-Based Czech Sign Language Synthesis |
| Other Titles: | Syntéza českého znakového jazyka založená na neuronových sítích |
| Authors: | Zelinka, Jan Kanis, Jakub Salajka, Petr |
| Citation: | ZELINKA, J., KANIS, J., SALAJKA, P. NN-Based Czech Sign Language Synthesis. In: Speech and Computer, 21st International Conference, SPECOM 2019, Istanbul, turkey, August 20-25,2019, Proceedings. Cham: Springer, 2019. s. 559-568. ISBN 978-3-030-26060-6 , ISSN 0302-9743. |
| Issue Date: | 2019 |
| Publisher: | Springer |
| Document type: | konferenční příspěvek conferenceObject |
| URI: | 2-s2.0-85071456664 http://hdl.handle.net/11025/36623 |
| ISBN: | 978-3-030-26060-6 |
| ISSN: | 0302-9743 |
| Keywords: | Syntéza znakového jazyka, 3D rekonstrukce kostry, implicitní překlad |
| Keywords in different language: | Sign language synthesis, 3D skeleton reconstruction, implicit translation |
| Abstract: | Tento článek popisuje naši syntézu českého znakového jazyka, která převádí český text do řady skeletálních pozic. Naším hlavním cílem je vyhnout se náročným ručně vytvořeným anotacím videí a vyhnout se ručnímu mapování mezi glosáři znakové řeči a kosterními pozicemi. Namísto samostatného řešení těchto úkolů jsme se tedy připojili k modelu implicitního překladače založeného na neuronových sítích a modelu mapování mezi glosáři znakového jazyka a oba modely společně trénujeme. Za tímto účelem navrhujeme jednoduchou diferencovatelnou operaci, která rozkládá vstupní symboly a umožňuje vytvářet požadované série bez jakéhokoli opakujícího se mechanismu. Použili jsme sadu nástrojů OpenPose k automatickému extrahování pozic skeletu a navrhli jsme algoritmus založený na gradientu sestupu, který převádí 2D model skeletu na 3D model skeletu, aby se opravily nesprávně umístěné a chybějící klouby. Části předpovědi počasí Denní zprávy v českém znakovém jazyce byly použity k získání našich tréninkových a testovacích údajů. Naše experimenty prokazují přínos implicitního překladače a schopnost navrženého systému syntézy znakového jazyka produkovat přirozeně vytvořené skeletální pozice. |
| Abstract in different language: | This paper describes our Czech sign language synthesis that converts a Czech text into a series of skeletal poses. Our main goal is to avoid demanding handcrafted annotations of videos and to avoid a manual mapping between sign language glosses and skeletal poses. Thus, instead of solving these task separately, we join a model of an implicit neural-network-based translator and a model of the mapping between sign language glosses and we train both models together. For this purpose, we propose a simple differentiable operation that decomposes input symbols and it allows to produce a required series without any recurrent mechanism. We used The OpenPose toolbox to automatically extract skeletal poses and we designed a gradient-descend-based algorithm that converts a 2D skeleton model to a 3D skeleton model in order to fix misplaced and missing joints. Weather forecast parts of The daily news in Czech sign language were used to obtain our training and testing data. Our experiments demonstrate the benefit of the implicit translator and an ability of the designed sign language synthesis system to produce naturally formed skeletal poses. |
| Rights: | Plný text není přístupný. © Springer |
| Appears in Collections: | Konferenční příspěvky / Conference Papers (KKY) OBD |
Files in This Item:
| File | Size | Format | |
|---|---|---|---|
| Zelinka2019_Chapter_NN-BasedCzechSignLanguageSynth.pdf | 931,4 kB | Adobe PDF | View/Open Request a copy |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/36623Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.