Swiss German Xlm Roberta Base

🚀 XLM - RoBERTaベースモデル

このモデルは、[xlm - roberta - base](https://huggingface.co/xlm - roberta - base) をベースに、スイスドイツ語のテキストデータを用いて継続的事前学習を行ったものです。（[Conneau et al., ACL 2020](https://aclanthology.org/2020.acl - main.747/)）

🚀 クイックスタート

このモデルは、スイスドイツ語のテキストデータを用いて事前学習されており、多言語のタスクに対応しています。以下のようなテキストが入力できます。

I cha etz au Schwiizerdütsch. <mask> zäme! 😊

📚 ドキュメント

学習データ

継続的事前学習には、以下の2つのスイスドイツ語の書き言葉のデータセットを使用しました。

1. SwissCrawl（[Linder et al., LREC 2020](https://aclanthology.org/2020.lrec - 1.329)）：スイスドイツ語のウェブテキスト（フォーラムの議論、ソーシャルメディア）のコレクションです。
2. スイスドイツ語のツイートのカスタムデータセット

さらに、標準ドイツ語のデータも同量でモデルを学習させました。Swissdox@LiRI から取得したニュース記事を使用しました。

ライセンス

このモデルは、Attribution - NonCommercial 4.0 International (CC BY - NC 4.0) のライセンスの下で公開されています。

引用

@inproceedings{vamvas - etal - 2024 - modular,
      title={Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect},
      author={Jannis Vamvas and No{\"e}mi Aepli and Rico Sennrich},
      booktitle={First Workshop on Modular and Open Multilingual NLP},
      year={2024},
}