Deberta V3 Large Mnli

🚀 DeBERTa-v3-large-mnli

このモデルは主にテキスト分類とゼロサンプル分類タスクに使用され、MultiNLIデータセットで学習することで、テキストの含意情報を効果的に処理でき、自然言語理解において高い精度を持っています。

🚀 クイックスタート

以下は、このモデルを使用してテキストの含意予測を行うサンプルコードです。

premise = "The Movie have been criticized for the story. However, I think it is a great movie."
hypothesis = "I liked the movie."
input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # device = "cuda:0" or "cpu"
prediction = torch.softmax(output["logits"][0], -1)
label_names = ["entailment", "neutral", "contradiction"]
print(label_names[prediction.argmax(0).tolist()])

✨ 主な機能

• このモデルは、Multi - Genre Natural Language Inference (MultiNLI)データセットで学習されており、このデータセットには433kの文ペアのテキスト含意情報が含まれています。
• マイクロソフトのDeBERTa - v3 - largeモデルを採用しており、解釈可能な注意力機構と強化されたマスクデコーダを使用することで、ほとんどのNLUベンチマークテストでBertやRoBERTaよりも優れた結果を示しています。

📚 ドキュメント

モデルの説明

このモデルは、Multi - Genre Natural Language Inference (MultiNLI)データセットで学習されており、このデータセットは433kの文ペアのテキスト含意情報で構成されています。使用されているモデルはマイクロソフトのDeBERTa - v3 - largeです。DeBERTaのv3バージョンは、解釈可能な注意力機構と強化されたマスクデコーダを使用することで、ほとんどのNLUベンチマークテストでBertやRoBERTaよりも優れた結果を示しています。元のモデルに関する詳細な情報は、公式リポジトリと論文を参照してください。

想定される用途と制限

モデルの使用方法

サンプルコードでは、このモデルを使用してテキストの含意予測を行う方法を示しています。具体的なコードは以下の通りです。

premise = "The Movie have been criticized for the story. However, I think it is a great movie."
hypothesis = "I liked the movie."
input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # device = "cuda:0" or "cpu"
prediction = torch.softmax(output["logits"][0], -1)
label_names = ["entailment", "neutral", "contradiction"]
print(label_names[prediction.argmax(0).tolist()])

学習データ

このモデルは、MultiNLIデータセットで学習されており、このデータセットには392Kの文のテキスト含意情報が含まれています。

学習過程

DeBERTa - v3 - large - mnliは、Hugging Faceのトレーナーを使用して学習され、以下のハイパーパラメータが使用されています。

train_args = TrainingArguments(
    learning_rate=2e-5,
    per_device_train_batch_size=8,
    per_device_eval_batch_size=8,
    num_train_epochs=3,
    warmup_ratio=0.06,
    weight_decay=0.1,
    fp16=True,
    seed=42,
)

BibTeX引用と引用情報

このモデルを使用する場合は、DeBERTa論文とMultiNLIデータセットを引用し、このHuggingfaceリポジトリを含めてください。

情報テーブル