Arabic Xlm Xnli

🚀 XLM-ROBERTA-BASE-XNLI-AR

このモデルは、多言語のTwitterの大規模コーパスで事前学習を続けたXLM-Roberta-baseモデルを利用しています。 このモデルは、Tweet Evalフレームワークに導入されたのと同様の戦略に従って開発されました。 さらに、XNLIトレーニングデータセットのアラビア語部分で微調整されています。

🚀 クイックスタート

このモデルは、ヘイトスピーチ検出の分野でゼロショットテキスト分類を行うために開発されました。アラビア語のデータで微調整されているため、アラビア語に特化しています。ただし、ベースモデルは100種類の言語で事前学習されているため、他の言語でも一定の有効性を示しています。詳細な言語リストは、XLM Roberta論文を参照してください。

ゼロショット分類パイプラインでの使用

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/arabic_xlm_xnli")

✨ 主な機能

• ゼロショットテキスト分類を行うことができます。
• アラビア語のヘイトスピーチ検出に特化しています。
• ベースモデルが100種類の言語で事前学習されているため、他の言語でも一定の有効性を示します。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/arabic_xlm_xnli")

高度な使用法

このREADMEには高度な使用法のコード例が記載されていないため、このサブセクションは省略されます。

📚 ドキュメント

モデルの説明

このモデルは、多言語のTwitterの大規模コーパスで事前学習を続けたXLM-Roberta-baseモデルを利用しています。 このモデルは、Tweet Evalフレームワークに導入されたのと同様の戦略に従って開発されました。 さらに、XNLIトレーニングデータセットのアラビア語部分で微調整されています。

想定される使用方法

このモデルは、ヘイトスピーチ検出の分野でゼロショットテキスト分類を行うために開発されました。アラビア語のデータで微調整されているため、アラビア語に特化しています。ただし、ベースモデルは100種類の言語で事前学習されているため、他の言語でも一定の有効性を示しています。詳細な言語リストは、XLM Roberta論文を参照してください。

トレーニング

このモデルは、100種類の言語のセットで事前学習され、元の論文で説明されているように、1億9800万件の多言語ツイートでさらにトレーニングされました。さらに、MNLIデータセットの機械翻訳版であるXNLIデータセットのアラビア語のトレーニングセットでトレーニングされました。XNLIトレーニングセットの5エポックでトレーニングされ、各エポックの終了時にXNLI評価データセットで評価され、最も性能の高いモデルが選択されました。

• 学習率: 2e-5
• バッチサイズ: 32
• 最大シーケンス長: 128

GPU（NVIDIA GeForce RTX 3090）を使用して、トレーニング時間は1時間47分でした。

評価

最も性能の高いモデルは、XNLIテストセットで評価され、比較可能な結果が得られました。

predict_accuracy = 74.19 %

🔧 技術詳細

このモデルは、多言語のTwitterの大規模コーパスで事前学習を続けたXLM-Roberta-baseモデルを利用しています。 このモデルは、Tweet Evalフレームワークに導入されたのと同様の戦略に従って開発されました。 さらに、XNLIトレーニングデータセットのアラビア語部分で微調整されています。

トレーニングに関しては、このモデルは、100種類の言語のセットで事前学習され、元の論文で説明されているように、1億9800万件の多言語ツイートでさらにトレーニングされました。さらに、MNLIデータセットの機械翻訳版であるXNLIデータセットのアラビア語のトレーニングセットでトレーニングされました。XNLIトレーニングセットの5エポックでトレーニングされ、各エポックの終了時にXNLI評価データセットで評価され、最も性能の高いモデルが選択されました。

📄 ライセンス

このモデルは、MITライセンスの下で提供されています。