Response Quality Classifier Large

🚀 對話響應質量分類模型

本分類模型用於評估對話中最後一條消息的相關性和特異性，基於預訓練模型構建，能有效助力對話系統優化交互質量。

🚀 快速開始

此分類模型基於 sberbank-ai/ruRoberta-large。該模型用於評估對話上下文中最後一條消息的相關性和特異性。

標籤解釋

• relevance：對話中的最後一條消息在整個對話上下文中是否相關。
• specificity：對話中的最後一條消息是否有趣並能推動對話繼續進行。

模型在大規模對話數據集上進行了無監督預訓練，即訓練模型預測最後一個回覆是來自真實對話，還是隨機從其他對話中抽取的。然後在人工標註的示例上進行了微調（數據集即將發佈）。

模型使用包含三條消息的上下文和一條回覆進行訓練。每條消息分別進行分詞，max_length = 32。

模型在驗證集上的性能（數據集即將發佈）（使用驗證樣本的最佳閾值）：

💻 使用示例

基礎用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
inputs = tokenizer('[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?', max_length=128, add_special_tokens=False, return_tensors='pt')
with torch.inference_mode():
    logits = model(**inputs).logits
    probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
relevance, specificity = probas

你可以在 app 中輕鬆與該模型進行交互。

本項目由 egoriyaa 在 Tinkoff 實習期間完成，並由 solemn-leader 指導。

📄 許可證

本項目採用 MIT 許可證。

對話示例

• 對話示例 1
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]супер, вот только проснулся, у тебя как?
• 對話示例 2
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм
• 對話示例 3
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?

語言支持：俄語

標籤：對話式