Multilingual E5 Large Instruct Xnli Anli

🚀 multilingual-e5-large-instruct-xnli-anli

このモデルは、XNLIとANLIデータセットでintfloat/multilingual-e5-large-instructをファインチューニングしたバージョンです。

🚀 クイックスタート

このモデルは、XNLIとANLIデータセットを用いてintfloat/multilingual-e5-large-instructをファインチューニングしたもので、ゼロショット分類やNLIタスクに利用できます。

✨ 主な機能

• 多言語対応のゼロショット分類が可能。
• NLIタスクに適用できる。

📚 ドキュメント

モデルの説明

Text Embeddings by Weakly-Supervised Contrastive Pre-training Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao, Linjun Yang, Daxin Jiang, Rangan Majumder, Furu Wei, arXiv 2022

モデルの使い方

ゼロショット分類パイプラインを使用する場合

モデルはzero-shot-classificationパイプラインを使って次のようにロードできます。

from transformers import pipeline
classifier = pipeline("zero-shot-classification",
                      model="mjwong/multilingual-e5-large-instruct-xnli-anli")

このパイプラインを使って、指定したクラス名のいずれかにシーケンスを分類できます。

sequence_to_classify = "Angela Merkel ist eine Politikerin in Deutschland und Vorsitzende der CDU"
candidate_labels = ["politics", "economy", "entertainment", "environment"]
classifier(sequence_to_classify, candidate_labels)

複数の候補ラベルが正しい場合、multi_class=Trueを渡して各クラスを独立して計算できます。

candidate_labels = ["politics", "economy", "entertainment", "environment"]
classifier(sequence_to_classify, candidate_labels, multi_label=True)

PyTorchを手動で使用する場合

モデルは次のようにNLIタスクにも適用できます。

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# device = "cuda:0" or "cpu"
device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")

model_name = "mjwong/multilingual-e5-large-instruct-xnli-anli"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

premise = "But I thought you'd sworn off coffee."
hypothesis = "I thought that you vowed to drink more coffee."

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["entailment", "neutral", "contradiction"]
prediction = {name: round(float(pred) * 100, 2) for pred, name in zip(prediction, label_names)}
print(prediction)

評価結果

このモデルは、15の言語（英語 (en)、アラビア語 (ar)、ブルガリア語 (bg)、ドイツ語 (de)、ギリシャ語 (el)、スペイン語 (es)、フランス語 (fr)、ヒンディー語 (hi)、ロシア語 (ru)、スワヒリ語 (sw)、タイ語 (th)、トルコ語 (tr)、ウルドゥー語 (ur)、ベトナム語 (vi)、中国語 (zh)）のXNLIテストセットを使用して評価されました。評価指標は正解率です。

また、MultiNLIの開発セットとANLIのテストセットを使用して評価されました。評価指標は正解率です。

学習ハイパーパラメータ

学習時には以下のハイパーパラメータが使用されました。

• 学習率 (learning_rate): 2e-05
• 学習バッチサイズ (train_batch_size): 16
• 評価バッチサイズ (eval_batch_size): 16
• シード値 (seed): 42
• オプティマイザ (optimizer): Adam（betas=(0.9,0.999)、epsilon=1e-08）
• 学習率スケジューラの種類 (lr_scheduler_type): 線形
• 学習率スケジューラのウォームアップ比率 (lr_scheduler_warmup_ratio): 0.1

フレームワークバージョン

• Transformers 4.28.1
• Pytorch 1.12.1+cu116
• Datasets 2.19.2
• Tokenizers 0.12.1

📄 ライセンス

このモデルはMITライセンスの下で提供されています。