Electra Base Gc4 64k 500000 Cased Generator

🚀 GC4LM: ドイツ語向けの巨大（偏りのある）言語モデル

このリポジトリでは、最近公開された "ドイツ語の巨大でクリーンなCommon Crawlコーパス" (GC4) を使用して学習された、ドイツ語向けの巨大（かつ偏りのある）言語モデルを紹介しています。データセットの総サイズは約844GBです。

🚀 クイックスタート

このリポジトリで提示および学習された言語モデルは、研究目的のみです。学習に使用されたGC4コーパスは、インターネットから収集されたテキストを含んでいます。したがって、言語モデルは高度に偏っていると考えられ、性別、人種、民族、障害の有無に沿った定型的な関連付けをエンコードしたモデルになります。公開されたチェックポイントを使用する前に、以下の論文を読むことを強くおすすめします。

On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?

著者: Emily M. Bender, Timnit Gebru, Angelina McMillan - Major and Shmargaret Shmitchell

公開されたチェックポイントの目的は、ドイツ語向けの大規模事前学習言語モデルに関する研究、特に偏りの特定とその防止方法に関する研究を促進することです。現在、ほとんどの研究は英語に対してのみ行われています。

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。

💡 その他の情報

新しいGitHub Discussions機能を使用して、さらなる研究質問について議論したり提示したりしてください。Twitter 🐦 で #gc4lm を自由に使用してください。

データセット情報

重要提示

⚠️ 重要提示

このリポジトリで提示および学習された言語モデルは研究目的のみです。学習に使用されたGC4コーパスはインターネットから収集されたテキストを含んでおり、モデルは高度に偏っている可能性があります。

使用建议

💡 使用アドバイス

公開されたチェックポイントを使用する前に、On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? を読むことを強くおすすめします。