Scandibert

🚀 ScandiBERT

このモデルは、デンマーク語、フェロー語、アイスランド語、ノルウェー語、スウェーデン語の大量のテキストコレクションで学習されたスカンジナビアのBERTモデルです。現在、ScandEvalのリーダーボード https://scandeval.github.io/pretrained/ で最上位にランクインしています。

🚀 クイックスタート

このScandiBERTモデルは、スカンジナビア諸語の自然言語処理タスクに役立ちます。モデルは2022年9月27日に更新されています。

⚠️ 重要提示

以前は半分だけ学習されたモデルがアップロードされていましたが、現在は削除され、モデルが更新されています。

📚 ドキュメント

学習データ

モデルは以下の表に示すデータで学習されました。バッチサイズは8.8kで、24枚のV100カードを使用して72エポック、約2週間学習されました。

引用

もしこのモデルが役に立った場合は、以下のように引用してください。

@inproceedings{snaebjarnarson-etal-2023-transfer,
    title = "{T}ransfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese",
    author = "Snæbjarnarson, Vésteinn  and
      Simonsen, Annika  and
      Glavaš, Goran  and
      Vulić, Ivan",
    booktitle = "Proceedings of the 24th Nordic Conference on Computational Linguistics (NoDaLiDa)",
    month = "may 22--24",
    year = "2023",
    address = "Tórshavn, Faroe Islands",
    publisher = {Link{\"o}ping University Electronic Press, Sweden},
}

📄 ライセンス

このモデルはAGPL-3.0ライセンスの下で提供されています。