Spanish Xlm Xnli

🚀 XLM-ROBERTA-BASE-XNLI-ES

このモデルは、多言語の大規模なTwitterコーパスで事前学習を続けたXLM-Roberta-baseモデルをベースにしています。 ハイトスピーチ検出の分野でのゼロショットテキスト分類を行うために開発され、スペイン語に特化しています。

🚀 クイックスタート

このモデルを使用するには、以下の手順に従ってください。

ゼロショット分類パイプラインでの使用

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/spanish_xlm_xnli")

モデルをロードした後、上記の言語でシーケンスを分類できます。シーケンスと一致する仮説を指定することで、提案された候補ラベルを分類できます。

sequence_to_classify = "Creo que Lionel Messi es el mejor futbolista del mundo."

# 候補ラベルと仮説を指定できます:
candidate_labels = ["politíca", "futbol"]
hypothesis_template = "Este ejemplo es {}"

# 提供された情報を使用して分類
classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template)

# 出力
#{'sequence': 'Creo que Lionel Messi es el mejor futbolista del mundo.',
# 'labels': ['futbol', 'politíca'],
# 'scores': [0.813454806804657, 0.18654517829418182]}

✨ 主な機能

• ゼロショットテキスト分類を行うことができます。
• ベースモデルが100言語で事前学習されているため、他の言語でも一定の有効性を示します。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="morit/spanish_xlm_xnli")
sequence_to_classify = "Creo que Lionel Messi es el mejor futbolista del mundo."
candidate_labels = ["politíca", "futbol"]
hypothesis_template = "Este ejemplo es {}"
result = classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template)
print(result)

高度な使用法

# 複数のシーケンスを一度に分類する例
sequences = ["Creo que Lionel Messi es el mejor futbolista del mundo.", "Me gusta la política"]
candidate_labels = ["politíca", "futbol"]
hypothesis_template = "Este ejemplo es {}"
classifier = pipeline("zero-shot-classification", model="morit/spanish_xlm_xnli")
for sequence in sequences:
    result = classifier(sequence, candidate_labels, hypothesis_template=hypothesis_template)
    print(result)

📚 ドキュメント

モデルの説明

このモデルは、XLM-Roberta-baseモデルをベースに、多言語のTwitterコーパスで事前学習を続け、XNLIトレーニングデータセットのスペイン語部分でさらにファインチューニングされました。

想定される使用法

このモデルは、ハイトスピーチ検出の分野でのゼロショットテキスト分類を行うために開発され、スペイン語に特化しています。ベースモデルが100言語で事前学習されているため、他の言語でも一定の有効性を示します。

🔧 技術詳細

トレーニング

このモデルは、100言語のセットで事前学習され、さらに198Mの多言語ツイートでトレーニングされました。その後、XNLIデータセットのスペイン語部分でファインチューニングされました。

• 学習率: 2e-5
• バッチサイズ: 32
• 最大シーケンス長: 128

NVIDIA GeForce RTX 3090 GPUを使用して、トレーニング時間は1時間47分でした。

評価

最良のモデルは、XNLIテストセットで評価され、以下の精度が得られました。

predict_accuracy = 79.20 %

📄 ライセンス

このモデルはMITライセンスの下で提供されています。