Title: | Enriching Word Embeddings with Global Information and Testing on Highly Inflected language |
Other Titles: | Vylepšení reprezentace slovních vektorů s využitím globální informace a testování modelu na flektivním jazyce |
Authors: | Svoboda, Lukáš Brychcín, Tomáš |
Citation: | SVOBODA, L., BRYCHCÍN, T. Enriching Word Embeddings with Global Information and Testing on Highly Inflected language. Computación y Systemas, 2019, roč. 23, č. 3, s. 773-783. ISSN 1405-5546. |
Issue Date: | 2019 |
Publisher: | Instituto Politecnico Nacional |
Document type: | článek article |
URI: | 2-s2.0-85076634219 http://hdl.handle.net/11025/36844 |
ISSN: | 1405-5546 |
Keywords: | Word2Vec, sémantická analýza, distribuční sémantika, CBOW, Skipgram, globální informace, flektivní jazyk, čeština, |
Keywords in different language: | Word2vec, skipgram, cbow, improving distributional word representation, using global information, new approach |
Abstract: | In this paper we evaluate our new approach based on the Continuous Bag-of-Words and Skip-gram models enriched with global context information on highly inflected Czech language and compare it with English results. As a source of information we use Wikipedia, where articles are organized in a hierarchy of categories. These categories provide useful topical information about each article. Both models are evaluated on standard word similarity and word analogy datasets. Proposed models outperform other word representation methods when similar size of training data is used. Model provide similar performance especially with methods trained on much larger datasets. V tomto článku vyhodnocujeme metody založené na principu Skip-gram a CBOW pro extrakci reprezentace významu slov rozšířené o globální informaci, testujeme vylepšené metody na flektivním jazyce a porovnáváme s výsledky na angličtině. Korpus včetně globální informace generujeme z Wikipedie, kde jsou články organizovány hierarchicky dle kategorií. Tyto kategorie poskytují dodatečné a velmi užitečné informace (popis) o každém článku. Oba modely jsou otestovány na standardních korpusech slovních similarit a slovních analogií. Navrhované modely překonávají jiné metody reprezentace slov, zvláště když se používají podobné velikosti tréninkových dat. Nás model dává podobné výsledky s modely trénovanými na mnohem větších souborech dat |
Rights: | © Instituto Politecnico Nacional |
Appears in Collections: | Články / Articles (KIV) OBD |
Files in This Item:
File | Size | Format | |
---|---|---|---|
Svoboda 3268-6752-1-PB.pdf | 476,68 kB | Adobe PDF | View/Open |
Please use this identifier to cite or link to this item:
http://hdl.handle.net/11025/36844
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.