Danskbert

🚀 丹麥BERT（DanskBERT）

丹麥BERT（DanskBERT）是一個丹麥語語言模型。它能有效解決丹麥語相關的自然語言處理任務，為丹麥語的文本處理提供強大的支持。

🚀 快速開始

這是丹麥BERT（DanskBERT），一個丹麥語語言模型。請注意，直接使用掩碼時，不要在其前面加空格！

該模型是丹麥語ScandEval基準測試中表現最佳的基礎規模模型。

✨ 主要特性

• 高性能：在丹麥語的ScandEval基準測試中，是表現最佳的基礎規模模型。
• 特定訓練：基於丹麥語大語料庫（Danish Gigaword Corpus）進行訓練。

📚 詳細文檔

訓練數據

丹麥BERT基於丹麥語大語料庫（Strømberg - Derczynski等人，2021）進行訓練。

訓練配置

丹麥BERT使用fairseq，採用RoBERTa - base配置進行訓練。模型訓練時的批量大小為2k，使用16張V100顯卡進行了約兩週的訓練，共訓練500k步直至收斂。

📄 許可證

本模型採用CC - BY - 4.0許可證。

📖 引用

如果您覺得這個模型有用，請引用以下文獻：

@inproceedings{snaebjarnarson-etal-2023-transfer,
    title = "{T}ransfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese",
    author = "Snæbjarnarson, Vésteinn  and
      Simonsen, Annika  and
      Glavaš, Goran  and
      Vulić, Ivan",
    booktitle = "Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa)",
    month = "may 22--24",
    year = "2023",
    address = "Tórshavn, Faroe Islands",
    publisher = {Link{\"o}ping University Electronic Press, Sweden},
}

📦 相關信息