Swiss German Xlm Roberta Base

🚀 XLM - RoBERTa 瑞士德語預訓練模型

本項目基於 [xlm - roberta - base](https://huggingface.co/xlm - roberta - base) 模型（[Conneau 等人，ACL 2020](https://aclanthology.org/2020.acl - main.747/)），通過持續預訓練在瑞士德語文本數據上進行了優化。該模型支持瑞士德語（gsw）以及多語言，以下是一個使用示例：

• 文本："I cha etz au Schwiizerdütsch. zäme! 😊"

📚 詳細文檔

訓練數據

在持續預訓練過程中，我們使用了以下兩個書面瑞士德語數據集：

1. SwissCrawl（[Linder 等人，LREC 2020](https://aclanthology.org/2020.lrec - 1.329)），這是一個包含瑞士德語網絡文本（論壇討論、社交媒體）的集合。
2. 一個自定義的瑞士德語推文數據集

此外，我們還使用了等量的標準德語數據對模型進行訓練。這些標準德語數據來自於從 Swissdox@LiRI 獲取的新聞文章。

信息表格

📄 許可證

本項目採用知識共享署名 - 非商業性使用 4.0 國際許可協議（Attribution - NonCommercial 4.0 International，即 CC BY - NC 4.0）。

📖 引用

如果您使用了本項目的模型，請按照以下格式進行引用：

@inproceedings{vamvas-etal-2024-modular,
      title={Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect},
      author={Jannis Vamvas and No{\"e}mi Aepli and Rico Sennrich},
      booktitle={First Workshop on Modular and Open Multilingual NLP},
      year={2024},
}