Rudialogpt Small

🚀 對話生成模型

本生成模型專注於對話生成，基於 sberbank-ai/rugpt3small_based_on_gpt2 構建。它在大規模對話數據集上進行訓練，可用於構建生成式對話代理，為對話交互場景提供智能支持。

🚀 快速開始

安裝依賴

確保你已經安裝了所需的庫：

pip install torch transformers

代碼示例

import torch
from transformers import AutoTokenizer, AutoModelWithLMHead

tokenizer = AutoTokenizer.from_pretrained('tinkoff-ai/ruDialoGPT-small')
model = AutoModelWithLMHead.from_pretrained('tinkoff-ai/ruDialoGPT-small')
inputs = tokenizer('@@ПЕРВЫЙ@@ привет @@ВТОРОЙ@@ привет @@ПЕРВЫЙ@@ как дела? @@ВТОРОЙ@@', return_tensors='pt')
generated_token_ids = model.generate(
    **inputs,
    top_k=10,
    top_p=0.95,
    num_beams=3,
    num_return_sequences=3,
    do_sample=True,
    no_repeat_ngram_size=2,
    temperature=1.2,
    repetition_penalty=1.2,
    length_penalty=1.0,
    eos_token_id=50257,
    max_new_tokens=40
)
context_with_response = [tokenizer.decode(sample_token_ids) for sample_token_ids in generated_token_ids]
print(context_with_response)

✨ 主要特性

• 基於預訓練模型：該模型基於 sberbank-ai/rugpt3small_based_on_gpt2 構建，藉助了預訓練模型的強大能力。
• 大規模對話數據訓練：在大規模對話數據集上進行訓練，能夠更好地理解和生成自然對話。
• 多指標評估：在私有驗證集上，根據 這篇論文 中提出的指標進行評估，包括合理性（Sensibleness）、針對性（Specificity）和兩者的平均值（SSA）。

🔧 技術細節

訓練參數

• 上下文大小：模型訓練時的上下文大小為 3。

評估指標

在私有驗證集上，我們計算了 這篇論文 中引入的指標：

• 合理性（Sensibleness）：眾包人員被要求判斷模型的回覆在給定上下文中是否合理。
• 針對性（Specificity）：眾包人員被要求判斷模型的回覆是否針對給定上下文，即我們不希望模型給出通用且無聊的回覆。
• SSA：上述兩個指標的平均值（Sensibleness Specificity Average）。

📄 許可證

本項目採用 MIT 許可證。