Response Quality Classifier Large

🚀 对话响应质量分类模型

本分类模型用于评估对话中最后一条消息的相关性和特异性，基于预训练模型构建，能有效助力对话系统优化交互质量。

🚀 快速开始

此分类模型基于 sberbank-ai/ruRoberta-large。该模型用于评估对话上下文中最后一条消息的相关性和特异性。

标签解释

• relevance：对话中的最后一条消息在整个对话上下文中是否相关。
• specificity：对话中的最后一条消息是否有趣并能推动对话继续进行。

模型在大规模对话数据集上进行了无监督预训练，即训练模型预测最后一个回复是来自真实对话，还是随机从其他对话中抽取的。然后在人工标注的示例上进行了微调（数据集即将发布）。

模型使用包含三条消息的上下文和一条回复进行训练。每条消息分别进行分词，max_length = 32。

模型在验证集上的性能（数据集即将发布）（使用验证样本的最佳阈值）：

💻 使用示例

基础用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
inputs = tokenizer('[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?', max_length=128, add_special_tokens=False, return_tensors='pt')
with torch.inference_mode():
    logits = model(**inputs).logits
    probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
relevance, specificity = probas

你可以在 app 中轻松与该模型进行交互。

本项目由 egoriyaa 在 Tinkoff 实习期间完成，并由 solemn-leader 指导。

📄 许可证

本项目采用 MIT 许可证。

对话示例

• 对话示例 1
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]супер, вот только проснулся, у тебя как?
• 对话示例 2
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм
• 对话示例 3
  • 文本：[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?

语言支持：俄语

标签：对话式