Název:	Adjusting BERT’s Pooling Layer for Large-Scale Multi-Label Text Classification
Autoři:	Lehečka, Jan Švec, Jan Ircing, Pavel Šmídl, Luboš
Citace zdrojového dokumentu:	LEHEČKA, J., ŠVEC, J., IRCING, P., ŠMÍDL, L. Adjusting BERT’s Pooling Layer for Large-Scale Multi-Label Text Classification. In: Text, Speech, and Dialogue 23rd International Conference, TSD 2020, Brno, Czech Republic, September 8-11, 2020, Proceedings. Cham: Springer, 2020. s. 214-221. ISBN 978-3-030-58322-4, ISSN 0302-9743.
Datum vydání:	2020
Nakladatel:	Springer
Typ dokumentu:	konferenční příspěvek conferenceObject
URI:	2-s2.0-85091136861 http://hdl.handle.net/11025/42716
ISBN:	978-3-030-58322-4
ISSN:	0302-9743
Klíčová slova v dalším jazyce:	Text classification, BERT model
Abstrakt v dalším jazyce:	In this paper, we present our experiments with BERT models in the task of Large-scale Multi-label Text Classification (LMTC). In the LMTC task, each text document can have multiple class labels, while the total number of classes is in the order of thousands. We propose a pooling layer architecture on top of BERT models, which improves the quality of classification by using information from the standard [CLS] token in combination with pooled sequence output. We demonstrate the improvements on Wikipedia datasets in three different languages using public pre-trained BERT models.
Práva:	Plný text není přístupný. © Springer
Vyskytuje se v kolekcích:	Konferenční příspěvky / Conference papers (NTIS) Konferenční příspěvky / Conference Papers (KKY) OBD

Všechny záznamy v DSpace jsou chráněny autorskými právy, všechna práva vyhrazena.