Minilm L6 Mnli Fever Docnli Ling 2c

🚀 MiniLM-L6-mnli-fever-docnli-ling-2c

このモデルは、8つの自然言語推論（NLI）データセットから抽出された1,279,665組の仮説と前提のペアを使用して訓練され、長距離推論を学習することができます。

🚀 クイックスタート

このモデルは、8つの自然言語推論（NLI）データセットからの1,279,665組の仮説と前提のペアを使用して訓練されています。これは、非常に長いテキストを含むDocNLIを含む、モデルハブ内で唯一の8つのNLIデータセットで訓練されたモデルです。

✨ 主な機能

• 8つのNLIデータセットを使用して訓練され、長距離推論を学習できます。
• バイナリNLIで訓練され、"entailment"または"not-entailment"を予測します。
• ベースモデルはMicrosoftのMiniLM-L6で、高速ですが、他のモデルよりも精度がやや低いです。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers torch

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model_name = "MoritzLaurer/MiniLM-L6-mnli-fever-docnli-ling-2c"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

premise = "I first thought that I liked the movie, but upon second thought it was actually disappointing."
hypothesis = "The movie was good."

input = tokenizer(premise, hypothesis, truncation=True, return_tensors="pt")
output = model(input["input_ids"].to(device))  # device = "cuda:0" or "cpu"
prediction = torch.softmax(output["logits"][0], -1).tolist()
label_names = ["entailment", "not_entailment"]
prediction = {name: round(float(pred) * 100, 1) for pred, name in zip(prediction, label_names)}
print(prediction)

📚 ドキュメント

モデルの説明

このモデルは、8つのNLIデータセットからの1,279,665組の仮説と前提のペアを使用して訓練されています。具体的には、MultiNLI、Fever-NLI、LingNLI、DocNLI（ANLI、QNLI、DUC、CNN/DailyMail、Curationを含む）です。

これは、DocNLIのような非常に長いテキストを含む8つのNLIデータセットで訓練された、モデルハブ内で唯一のモデルです。モデルは、"entailment"または"not-entailment"を予測するバイナリNLIで訓練されています。DocNLIは、"neural"と"contradiction"のクラスを"not-entailment"に統合して、より多くの訓練データを作成しています。

ベースモデルはMicrosoftのMiniLM-L6で、非常に高速ですが、他のモデルよりも精度がやや低いです。

想定される用途と制限

モデルの使用方法

上記のコード例を参照してください。

訓練データ

このモデルは、8つのNLIデータセットからの1,279,665組の仮説と前提のペアを使用して訓練されています。具体的には、MultiNLI、Fever-NLI、LingNLI、DocNLI（ANLI、QNLI、DUC、CNN/DailyMail、Curationを含む）です。

訓練手順

MiniLM-L6-mnli-fever-docnli-ling-2cは、以下のハイパーパラメータを使用してHugging Faceのトレーナーで訓練されました。

training_args = TrainingArguments(
    num_train_epochs=3,              # total number of training epochs
    learning_rate=2e-05,
    per_device_train_batch_size=32,   # batch size per device during training
    per_device_eval_batch_size=32,    # batch size for evaluation
    warmup_ratio=0.1,                # number of warmup steps for learning rate scheduler
    weight_decay=0.06,               # strength of weight decay
    fp16=True                        # mixed precision training
)

評価結果

モデルは、MultiNLIとANLIのバイナリテストセット、およびFever-NLIのバイナリ開発セット（3つのクラスではなく2つのクラス）を使用して評価されました。使用されたメトリックは正確度です。

🔧 技術詳細

モデルの訓練に使用されたハイパーパラメータやデータセットに関する詳細な情報は、上記のドキュメントを参照してください。

📄 ライセンス

このモデルを引用する場合は、元のMiniLM論文、それぞれのNLIデータセットを引用し、Hugging Faceハブでのこのモデルへのリンクを含めてください。

共同研究のアイデアや質問は？

質問や共同研究のアイデアがある場合は、m.laurer{at}vu.nlまたはLinkedInで連絡してください。