Deberta V3 Large Mnli

🚀 DeBERTa-v3 (large) をMulti-NLI (MNLI) でファインチューニングしたモデル

このモデルは、テキストエンテイルメント（NLIとも呼ばれます）、つまり textA が textB によって支持されるかどうかを予測するためのものです。具体的には、textA と textB の関係が entail（含意）、neutral（中立）、contradict（矛盾） の2分類モデルです。

• 入力: (textA, textB)
• 出力: prob(entail)（含意の確率）, prob(contradict)（矛盾の確率）

なお、学習時にはすべての3つのラベル（entail、neutral、contradict）が使用されましたが、このモデルではneutralの出力ヘッドは削除されています。

🚀 クイックスタート

このモデルは、テキストエンテイルメントの予測に使用できます。以下に概要を示します。

• 入力は textA と textB のペアです。
• 出力は textA と textB の関係がentailまたはcontradictである確率です。

✨ 主な機能

• テキストエンテイルメントの予測が可能です。
• 2分類モデルで、entailとcontradictの確率を出力します。

📦 インストール

このモデルを使用するには、transformers ライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("potsawee/deberta-v3-large-mnli")
model = AutoModelForSequenceClassification.from_pretrained("potsawee/deberta-v3-large-mnli")

textA = "Kyle Walker has a personal issue"
textB = "Kyle Walker will remain Manchester City captain following reports about his private life, says boss Pep Guardiola."

inputs = tokenizer.batch_encode_plus(
    batch_text_or_text_pairs=[(textA, textB)],
    add_special_tokens=True, return_tensors="pt",
)
logits = model(**inputs).logits # neutral is already removed
probs = torch.softmax(logits, dim=-1)[0]
# probs = [0.7080, 0.2920], meaning that prob(entail) = 0.708, prob(contradict) = 0.292

📚 ドキュメント

モデル詳細

引用

@article{manakul2023selfcheckgpt,
  title={Selfcheckgpt: Zero-resource black-box hallucination detection for generative large language models},
  author={Manakul, Potsawee and Liusie, Adian and Gales, Mark JF},
  journal={arXiv preprint arXiv:2303.08896},
  year={2023}
}

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。