Response Quality Classifier Large

🚀 応答品質分類器モデル

この分類モデルは、会話の文脈における最後のメッセージの関連性と特異性を評価するために使用されます。sberbank-ai/ruRoberta-large をベースに構築されています。

🚀 クイックスタート

このモデルは、会話の文脈における最後のメッセージの関連性と特異性を生成するために使用されます。以下にラベルの説明を示します。

• relevance：会話の最後のメッセージが、会話全体の文脈に関連しているかどうか。
• specificity：会話の最後のメッセージが興味深く、会話の継続を促すかどうか。

✨ 主な機能

• 大規模な会話データセットで教師なし学習を行い、最後の応答が実際の会話内のものか、ランダムに選択されたものかを予測するように訓練されています。
• 手動でラベル付けされたデータセットで微調整されています（データセットは近日公開予定）。

📦 インストール

このモデルを使用するには、必要なライブラリをインストールする必要があります。以下のコードを参考にしてください。

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/response-quality-classifier-large')
model = AutoModelForSequenceClassification.from_pretrained('tinkoff-ai/response-quality-classifier-large')
inputs = tokenizer('[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?', max_length=128, add_special_tokens=False, return_tensors='pt')
with torch.inference_mode():
    logits = model(**inputs).logits
    probas = torch.sigmoid(logits)[0].cpu().detach().numpy()
relevance, specificity = probas

高度な使用法

このモデルは、会話の文脈における最後のメッセージの関連性と特異性を評価するために使用されます。以下に、モデルの性能指標を示します。

🔧 技術詳細

• モデルは、3つのメッセージと1つの応答を入力として訓練されています。各メッセージは、max_length = 32 で個別にトークン化されます。
• モデルは、大規模な会話データセットで教師なし学習を行い、最後の応答が実際の会話内のものか、ランダムに選択されたものかを予測するように訓練されています。
• その後、手動でラベル付けされたデータセットで微調整されています（データセットは近日公開予定）。

📄 ライセンス

このモデルはMITライセンスの下で公開されています。

ダイアログ例

• Dialog example 1
  • text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]супер, вот только проснулся, у тебя как?"
• Dialog example 2
  • text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм"
• Dialog example 3
  • text: "[CLS]привет[SEP]привет![SEP]как дела?[RESPONSE_TOKEN]норм, у тя как?"

このモデルを簡単に操作できるアプリは こちら です。

このプロジェクトは、egoriyaa がTinkoffでのインターンシップ中に行い、solemn-leader がメンターとして指導しました。