Xlm Roberta Large Xnli

🚀 xlm-roberta-large-xnli

このモデルは、多言語のゼロショットテキスト分類に特化しており、XNLIという多言語NLIデータセットを用いて微調整されています。XNLIコーパスに含まれる15言語のデータで訓練されているため、英語以外の言語でも高い性能を発揮します。

✨ 主な機能

• 15言語のXNLIデータセットで微調整された、ゼロショットテキスト分類モデル。
• ベースモデルが100言語で事前学習されているため、XNLIコーパスに含まれない言語でも一定の性能を発揮。
• Hugging FaceのZeroShotClassificationPipelineを用いて簡単に使用できる。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="joeddav/xlm-roberta-large-xnli")

高度な使用法

# ロシア語の文章を分類する例
sequence_to_classify = "За кого вы голосуете в 2020 году?"
# 候補ラベルを指定する
candidate_labels = ["Europe", "public health", "politics"]
classifier(sequence_to_classify, candidate_labels)
# {'labels': ['politics', 'Europe', 'public health'],
#  'scores': [0.9048484563827515, 0.05722189322113991, 0.03792969882488251],
#  'sequence': 'За кого вы голосуете в 2020 году?'}

# スペイン語の文章を分類する例
sequence_to_classify = "¿A quién vas a votar en 2020?"
candidate_labels = ["Europa", "salud pública", "política"]
hypothesis_template = "Este ejemplo es {}."
classifier(sequence_to_classify, candidate_labels, hypothesis_template=hypothesis_template)
# {'labels': ['política', 'Europa', 'salud pública'],
#  'scores': [0.9109585881233215, 0.05954807624220848, 0.029493311420083046],
#  'sequence': '¿A quién vas a votar en 2020?'}

手動でPyTorchを使用する場合

# シーケンスをNLIの前提として、ラベルを仮説として設定する
from transformers import AutoModelForSequenceClassification, AutoTokenizer
nli_model = AutoModelForSequenceClassification.from_pretrained('joeddav/xlm-roberta-large-xnli')
tokenizer = AutoTokenizer.from_pretrained('joeddav/xlm-roberta-large-xnli')

premise = sequence
hypothesis = f'This example is {label}.'

# MNLIで事前学習されたモデルを通す
x = tokenizer.encode(premise, hypothesis, return_tensors='pt',
                     truncation_strategy='only_first')
logits = nli_model(x.to(device))[0]

# "neutral" (次元1)を捨てて、"entailment" (2)の確率をラベルが真である確率とする
entail_contradiction_logits = logits[:,[0,2]]
probs = entail_contradiction_logits.softmax(dim=1)
prob_label_is_true = probs[:,1]

🔧 技術詳細

このモデルは、元論文で説明されているように、100言語のデータセットで事前学習されています。その後、MNLIのトレインセットとXNLIのバリデーションおよびテストセットを結合したデータでNLIタスクに対して微調整されました。最後に、前提と仮説の翻訳がシャッフルされたXNLIデータのみで1エポック分の追加学習が行われました。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。