🚀 応答品質分類器モデル
この分類モデルは、会話の文脈における最後のメッセージの関連性と特異性を評価するために使用されます。sberbank-ai/ruRoberta-large をベースに構築されています。
🚀 クイックスタート
このモデルは、会話の文脈における最後のメッセージの関連性と特異性を生成するために使用されます。以下にラベルの説明を示します。
relevance
:会話の最後のメッセージが、会話全体の文脈に関連しているかどうか。
specificity
:会話の最後のメッセージが興味深く、会話の継続を促すかどうか。
✨ 主な機能
- 大規模な会話データセットで教師なし学習を行い、最後の応答が実際の会話内のものか、ランダムに選択されたものかを予測するように訓練されています。
- 手動でラベル付けされたデータセットで微調整されています(データセットは近日公開予定)。
📦 インストール
このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを参考にしてください。
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
💻 使用例
基本的な使用法
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
inputs = tokenizer('[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?', max_length=128, add_special_tokens=False, return_tensors='pt')
with torch.inference_mode():
logits = model(**inputs).logits
probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
relevance, specificity = probas
高度な使用法
このモデルは、会話の文脈における最後のメッセージの関連性と特異性を評価するために使用されます。以下に、モデルの性能指標を示します。
指標 |
閾値 |
F0.5 |
ROC AUC |
relevance |
0.59 |
0.86 |
0.83 |
specificity |
0.61 |
0.85 |
0.86 |
🔧 技術詳細
- モデルは、3つのメッセージと1つの応答を入力として訓練されています。各メッセージは、
max_length = 32
で個別にトークン化されます。
- モデルは、大規模な会話データセットで教師なし学習を行い、最後の応答が実際の会話内のものか、ランダムに選択されたものかを予測するように訓練されています。
- その後、手動でラベル付けされたデータセットで微調整されています(データセットは近日公開予定)。
📄 ライセンス
このモデルはMITライセンスの下で公開されています。
ダイアログ例
- Dialog example 1
- text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]супер, вот только проснулся, у тебя как?"
- Dialog example 2
- text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм"
- Dialog example 3
- text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?"
このモデルを簡単に操作できるアプリは こちら です。
このプロジェクトは、egoriyaa がTinkoffでのインターンシップ中に行い、solemn-leader がメンターとして指導しました。