French Xlm Xnli

🚀 XLM-ROBERTA-BASE-XNLI_FR

このモデルは、多言語のTwitterの大規模コーパスで追加事前学習されたXLM-Roberta-baseモデルを使用しています。Zero-Shot Text Classificationを行い、特にフランス語のデータで微調整されています。

🚀 クイックスタート

このモデルを使用するには、以下のようにtransformersライブラリのpipelineを使ってロードします。

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/french_xlm_xnli")

モデルをロードした後、指定した言語のシーケンスを分類できます。シーケンスと一致する仮説を指定することで、候補ラベルを分類できます。

sequence_to_classify = "Je pense que Marcon va gagner les elections?"

# 候補ラベルと仮説を指定できます:
candidate_labels = ["politique", "sport"]
hypothesis_template = "Cet example est {}"

# 提供された情報を使用して分類
classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template)

# 出力
#{'sequence': 'Je pense que Marcon va gagner les elections?',
#'labels': ['politique', 'sport'],
#'scores': [0.8195879459381104, 0.18041200935840607]}

✨ 主な機能

• 多言語の事前学習モデルをベースにしているため、複数の言語での分類が可能。
• フランス語のXNLIデータセットで微調整されており、フランス語のZero-Shot Text Classificationに特化。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/french_xlm_xnli")

高度な使用法

sequence_to_classify = "Je pense que Marcon va gagner les elections?"

# 候補ラベルと仮説を指定できます:
candidate_labels = ["politique", "sport"]
hypothesis_template = "Cet example est {}"

# 提供された情報を使用して分類
classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template)

📚 ドキュメント

モデルの説明

このモデルは、XLM-Roberta-baseモデルを多言語のTwitterコーパスで追加事前学習したものです。Tweet Evalフレームワークと同様の戦略で開発され、さらにXNLIトレーニングデータセットのフランス語部分で微調整されています。

想定される使用法

このモデルは、ヘイトスピーチ検出の分野でZero-Shot Text Classificationを行うために開発されました。フランス語のデータで微調整されているため、主にフランス語に焦点を当てています。ただし、ベースモデルは100種類の言語で事前学習されているため、他の言語でも一定の有効性を示しています。詳細な言語リストは、XLM Roberta論文を参照してください。

🔧 技術詳細

トレーニング

このモデルは、100種類の言語のセットで事前学習され、さらに198Mの多言語ツイートでトレーニングされました（論文を参照）。さらに、XNLIトレーニングセットのフランス語部分でトレーニングされ、XNLI評価データセットで評価されました。最良のモデルは、評価セットで最も高い精度を示したものが選ばれました。

• 学習率: 2e-5
• バッチサイズ: 32
• 最大シーケンス長: 128

NVIDIA GeForce RTX 3090 GPUを使用し、トレーニング時間は1時間47分でした。

評価

最良のモデルは、XNLIテストセットで評価され、以下の精度が得られました。

predict_accuracy = 78.02 %

📄 ライセンス

このモデルはMITライセンスの下で提供されています。