Distilgpt2 Tiny Conversational

🚀 轻量级GPT2小型对话模型

本模型是基于 distilgpt2 在经过解析的维基百科向导（Wizard of Wikipedia）数据集上微调得到的。它采用了人物A/人物B的框架，专为与 ai-msgbot 集成使用而设计。该模型在评估集上取得了以下结果：

• 损失值：2.2461

🚀 快速开始

模型推理参数

{
    "parameters": {
        "min_length": 2,
        "max_length": 64,
        "length_penalty": 0.7,
        "no_repeat_ngram_size": 2,
        "do_sample": true,
        "top_p": 0.95,
        "top_k": 20,
        "temperature": 0.3,
        "repetition_penalty": 3.5
    }
}

模型使用示例

你可以在下面的示例中输入文本进行测试：

你还可以查看 简单演示。

✨ 主要特性

• 这是一个基础的对话模型，可作为聊天机器人使用。
• 专为与 ai-msgbot 集成而设计。
• 能够生成人物A和人物B之间的完整对话，使用 person alpha 和 person beta 作为自定义 <bos> 标记来区分不同的回复。

📚 详细文档

预期用途与限制

本模型的设计用途是与 ai-msgbot 仓库集成。需要注意的是，该模型生成的是人物A和人物B之间的完整对话，使用 person alpha 和 person beta 作为自定义 <bos> 标记来确定一个回复的结束和另一个回复的开始。

训练和评估数据

训练和评估数据来自经过解析的 维基百科向导 数据集，该数据集来自 ParlAI。

训练过程

本模型使用了 DeepSpeed 和 Hugging Face 训练器进行训练，ai-msgbot 仓库中有示例笔记本可供参考。

训练超参数

以下是训练过程中使用的超参数：

训练结果

框架版本

• Transformers 4.16.1
• Pytorch 1.10.0+cu111
• Tokenizers 0.11.0

📄 许可证

本模型采用 Apache 2.0 许可证。