Rubert Base Cased Nli Threeway

🚀 RuBERT用於自然語言推理（NLI）

這是一個基於DeepPavlov/rubert-base-cased微調的模型，用於預測兩個短文本之間的邏輯關係：蘊含、矛盾或中立。

🚀 快速開始

本模型可用於自然語言推理（NLI）和零樣本短文本分類。下面將分別介紹其使用方法。

✨ 主要特性

• 基於DeepPavlov/rubert-base-cased進行微調。
• 可預測兩個短文本之間的邏輯關係，包括蘊含、矛盾或中立。
• 支持零樣本短文本分類，例如情感分析。

📦 安裝指南

運行以下命令安裝所需的庫：

!pip install transformers sentencepiece --quiet

💻 使用示例

基礎用法

以下是如何運行該模型進行自然語言推理（NLI）的示例代碼：

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

model_checkpoint = 'cointegrated/rubert-base-cased-nli-threeway'
tokenizer = AutoTokenizer.from_pretrained(model_checkpoint)
model = AutoModelForSequenceClassification.from_pretrained(model_checkpoint)
if torch.cuda.is_available():
    model.cuda()

text1 = 'Сократ - человек, а все люди смертны.'
text2 = 'Сократ никогда не умрёт.'
with torch.inference_mode():
    out = model(**tokenizer(text1, text2, return_tensors='pt').to(model.device))
    proba = torch.softmax(out.logits, -1).cpu().numpy()[0]
print({v: proba[k] for k, v in model.config.id2label.items()})
# {'entailment': 0.009525929, 'contradiction': 0.9332064, 'neutral': 0.05726764} 

高級用法

你還可以使用此模型進行零樣本短文本分類（僅通過標籤），例如情感分析：

def predict_zero_shot(text, label_texts, model, tokenizer, label='entailment', normalize=True):
    label_texts
    tokens = tokenizer([text] * len(label_texts), label_texts, truncation=True, return_tensors='pt', padding=True)
    with torch.inference_mode():
        result = torch.softmax(model(**tokens.to(model.device)).logits, -1)
    proba = result[:, model.config.label2id[label]].cpu().numpy()
    if normalize:
        proba /= sum(proba)
    return proba

classes = ['Я доволен', 'Я недоволен']
predict_zero_shot('Какая гадость эта ваша заливная рыба!', classes, model, tokenizer)
# array([0.05609814, 0.9439019 ], dtype=float32)
predict_zero_shot('Какая вкусная эта ваша заливная рыба!', classes, model, tokenizer)
# array([0.9059292 , 0.09407079], dtype=float32)

另外，你也可以使用 Huggingface pipelines 進行推理。

📚 詳細文檔

模型來源

該模型在一系列從英語自動翻譯成俄語的NLI數據集上進行訓練。

大部分數據集取自 Felipe Salvatore的倉庫：

• JOCI
• MNLI
• MPE
• SICK
• SNLI

部分數據集從原始來源獲取：

• ANLI
• NLI-style FEVER
• IMPPRES

性能表現

下表展示了五個模型在相應 dev 集上的ROC AUC（一類與其他類）：

在評估（以及訓練 tiny 和 twoway 模型）時，使用了一些額外的數據集：

• Add-one RTE
• CoPA
• IIE
• SCITAIL 取自 Felipe Salvatore的倉庫 並進行翻譯
• HELP 和 MoNLI 從原始來源獲取並進行翻譯
• 俄語 TERRa