Distilgpt2 Tiny Conversational

🚀 輕量級GPT2小型對話模型

本模型是基於 distilgpt2 在經過解析的維基百科嚮導（Wizard of Wikipedia）數據集上微調得到的。它採用了人物A/人物B的框架，專為與 ai-msgbot 集成使用而設計。該模型在評估集上取得了以下結果：

• 損失值：2.2461

🚀 快速開始

模型推理參數

{
    "parameters": {
        "min_length": 2,
        "max_length": 64,
        "length_penalty": 0.7,
        "no_repeat_ngram_size": 2,
        "do_sample": true,
        "top_p": 0.95,
        "top_k": 20,
        "temperature": 0.3,
        "repetition_penalty": 3.5
    }
}

模型使用示例

你可以在下面的示例中輸入文本進行測試：

你還可以查看 簡單演示。

✨ 主要特性

• 這是一個基礎的對話模型，可作為聊天機器人使用。
• 專為與 ai-msgbot 集成而設計。
• 能夠生成人物A和人物B之間的完整對話，使用 person alpha 和 person beta 作為自定義 <bos> 標記來區分不同的回覆。

📚 詳細文檔

預期用途與限制

本模型的設計用途是與 ai-msgbot 倉庫集成。需要注意的是，該模型生成的是人物A和人物B之間的完整對話，使用 person alpha 和 person beta 作為自定義 <bos> 標記來確定一個回覆的結束和另一個回覆的開始。

訓練和評估數據

訓練和評估數據來自經過解析的 維基百科嚮導 數據集，該數據集來自 ParlAI。

訓練過程

本模型使用了 DeepSpeed 和 Hugging Face 訓練器進行訓練，ai-msgbot 倉庫中有示例筆記本可供參考。

訓練超參數

以下是訓練過程中使用的超參數：

訓練結果

框架版本

• Transformers 4.16.1
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0

📄 許可證

本模型採用 Apache 2.0 許可證。