Chinese Xlm Xnli

🚀 XLM-ROBERTA-BASE-XNLI-ZH

このモデルは、ゼロショットテキスト分類を行い、特にハイトスピーチ検出の分野で有効です。XNLIデータセットを用いて微調整され、中国語に特化していますが、ベースモデルが100言語で事前学習されているため、他言語でも一定の有効性を示します。

🚀 クイックスタート

ゼロショット分類パイプラインでの使用

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/chinese_xlm_xnli")

✨ 主な機能

• ゼロショットテキスト分類を行うことができます。
• ハイトスピーチ検出に特化しています。
• 中国語での性能が高く、100言語で事前学習されたベースモデルを使用しているため、他言語でも一定の有効性を持ちます。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/chinese_xlm_xnli")

📚 ドキュメント

モデルの説明

このモデルは、XNLIデータセットの中国語部分で微調整されたXLM-Roberta-baseモデルです。XLM-Roberta-baseモデルは、多言語のTwitterの大規模コーパスで事前学習されています。このモデルの開発は、Tweet Evalフレームワークに導入された戦略に沿って行われました。

想定される使用方法

このモデルは、ハイトスピーチ検出の分野でのゼロショットテキスト分類を行うために開発されました。中国語のデータで微調整されているため、中国語に特化していますが、ベースモデルが100言語で事前学習されているため、他言語でも一定の有効性を示します。詳細な言語リストは、XLM Roberta論文を参照してください。

🔧 技術詳細

学習

このモデルは、100言語のセットで事前学習され、さらに198Mの多言語ツイートで学習されました。詳細は、元の論文を参照してください。また、XNLIデータセットの中国語のトレーニングセットで学習され、MNLIデータセットの機械翻訳版です。XNLIトレーニングセットの5エポックで学習され、各エポックの終了時にXNLI評価データセットで評価され、最も性能の高いモデルが選択されました。

• 学習率: 2e-5
• バッチサイズ: 32
• 最大シーケンス長: 128

NVIDIA GeForce RTX 3090 GPUを使用し、学習時間は1時間47分でした。

評価

最も性能の高いモデルは、XNLIテストセットで評価され、以下の結果が得られました。

predict_accuracy = 76.17 %

📄 ライセンス

このモデルはMITライセンスの下で提供されています。

データセット

• xnli

言語

• zh

評価指標

• accuracy

パイプラインタグ

• zero-shot-classification