FERNET C5

🚀 FERNET - C5

FERNET - C5（Flexible Embedding Representation NETwork）是一個單語種的捷克語BERT基礎模型，它基於93GB的捷克語大規模清潔爬取語料庫（C5）進行預訓練。詳情請參閱我們的論文。

我們還發布了基於RoBERTa架構的該模型的後續版本 fav - kky/FERNET - C5 - RoBERTa。

📚 詳細文檔

論文鏈接

• 正式論文：https://link.springer.com/chapter/10.1007/978 - 3 - 030 - 89579 - 2_3
• 預印本：https://arxiv.org/abs/2107.10042

引用信息

如果您覺得這個模型有用，請引用我們的論文：

@inproceedings{FERNETC5,
	title        = {Comparison of Czech Transformers on Text Classification Tasks},
	author       = {Lehe{\v{c}}ka, Jan and {\v{S}}vec, Jan},
	year         = 2021,
	booktitle    = {Statistical Language and Speech Processing},
	publisher    = {Springer International Publishing},
	address      = {Cham},
	pages        = {27--37},
	doi          = {10.1007/978-3-030-89579-2_3},
	isbn         = {978-3-030-89579-2},
	editor       = {Espinosa-Anke, Luis and Mart{\'i}n-Vide, Carlos and Spasi{\'{c}}, Irena}
}

📄 許可證

本項目採用知識共享署名 - 非商業性使用 - 相同方式共享 4.0 國際許可協議（CC BY - NC - SA 4.0）。