Rubert Base Cased Nli Threeway

🚀 RuBERT for NLI (自然言語推論)

このモデルは、2つの短いテキスト間の論理関係（含意、矛盾、中立）を予測するために、DeepPavlov/rubert-base-cased をファインチューニングしたものです。

🚀 クイックスタート

このモデルは、自然言語推論（NLI）とゼロショット短テキスト分類に使用できます。

💻 使用例

基本的な使用法

NLIのためにモデルを実行する方法：

# !pip install transformers sentencepiece --quiet
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-base-cased-nli-threeway'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()

text1 = 'Сократ - человек, а все люди смертны.'
text2 = 'Сократ никогда не умрёт.'
with torch.inference_mode():
    out = model(**tokenizer(text1, text2, return_tensors='pt').to(model.device))
    proba = torch.softmax(out.logits, -1).cpu().numpy()[0]
print({v: proba[k] for k, v in model.config.id2label.items()})
# {'entailment': 0.009525929, 'contradiction': 0.9332064, 'neutral': 0.05726764} 

高度な使用法

このモデルをゼロショット短テキスト分類（ラベルのみで）に使用することもできます。例えば、センチメント分析に使用する場合：

def predict_zero_shot(text, label_texts, model, tokenizer, label='entailment', normalize=True):
    label_texts
    tokens = tokenizer([text] * len(label_texts), label_texts, truncation=True, return_tensors='pt', padding=True)
    with torch.inference_mode():
        result = torch.softmax(model(**tokens.to(model.device)).logits, -1)
    proba = result[:, model.config.label2id[label]].cpu().numpy()
    if normalize:
        proba /= sum(proba)
    return proba

classes = ['Я доволен', 'Я недоволен']
predict_zero_shot('Какая гадость эта ваша заливная рыба!', classes, model, tokenizer)
# array([0.05609814, 0.9439019 ], dtype=float32)
predict_zero_shot('Какая вкусная эта ваша заливная рыба!', classes, model, tokenizer)
# array([0.9059292 , 0.09407079], dtype=float32)

あるいは、推論に Huggingface pipelines を使用することもできます。

📚 ドキュメント

モデルのソース

このモデルは、英語から自動翻訳された一連のNLIデータセットで学習されています。 ほとんどのデータセットは Felipe Salvatoreのリポジトリ から取得されました。

• JOCI
• MNLI
• MPE
• SICK
• SNLI

一部のデータセットはオリジナルのソースから取得されました。

• ANLI
• NLI-style FEVER
• IMPPRES

パフォーマンス

以下の表は、対応するdevセットにおける5つのモデルのROC AUC（1クラス対残り）を示しています。

• tiny：含意対非含意を予測する小型のBERT
• twoway：含意対非含意を予測するベースサイズのBERT
• threeway (このモデル)：含意対矛盾対中立を予測するベースサイズのBERT
• vicgalle-xlm：大規模な多言語NLIモデル
• facebook-bart：大規模な多言語NLIモデル

評価（および tiny と twoway モデルの学習）には、いくつかの追加データセットが使用されました。

• Add-one RTE
• CoPA
• IIE
• SCITAIL：Felipe Salvatoreのリポジトリ から取得され、翻訳されました。
• HELP
• MoNLI：オリジナルのソースから取得され、翻訳されました。
• ロシア語の TERRa

📄 その他の情報