Scandibert

🚀 ScandiBERT

ScandiBERT是一個在大量丹麥語、法羅語、冰島語、挪威語和瑞典語文本上訓練的斯堪的納維亞BERT模型。它目前在ScandEval排行榜（https://scandeval.github.io/pretrained/ ）上排名最高。

✨ 主要特性

• 支持冰島語（is）、丹麥語（da）、瑞典語（sv）、挪威語（no）、法羅語（fo）等多種語言。
• 可用於掩碼語言模型（masked-lm）任務。
• 基於PyTorch和RoBERTa架構。

📦 安裝指南

文檔未提供具體安裝步驟，故跳過該章節。

💻 使用示例

文檔未提供代碼示例，故跳過該章節。

📚 詳細文檔

模型更新說明

注意：該模型於2022年9月27日進行了更新。此前曾上傳過一個半訓練的模型，現已移除。

訓練數據

該模型在以下數據上進行訓練，批量大小為8.8k，在24張V100顯卡上訓練了72個週期，約2周時間。

引用說明

如果您覺得該模型有用，請引用以下文獻：

@inproceedings{snaebjarnarson-etal-2023-transfer,
    title = "{T}ransfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese",
    author = "Snæbjarnarson, Vésteinn  and
      Simonsen, Annika  and
      Glavaš, Goran  and
      Vulić, Ivan",
    booktitle = "Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa)",
    month = "may 22--24",
    year = "2023",
    address = "Tórshavn, Faroe Islands",
    publisher = {Link{\"o}ping University Electronic Press, Sweden},
}

🔧 技術細節

模型在訓練時使用了特定的批量大小和訓練週期，在24張V100顯卡上進行了約2周的訓練。具體訓練參數如下：

• 批量大小：8.8k
• 訓練週期：72個
• 顯卡：24張V100
• 訓練時長：約2周

📄 許可證

該模型使用的許可證為AGPL-3.0。