Gpt2 Open Instruct V1 Anthropic Hh Rlhf

🚀 hh-rlhf

本模型是基于 vicgalle/gpt2-open-instruct-v1 在 Anthropic/hh-rlhf 数据集的一个子集（15k）上进行微调的版本。它在对话场景中，对“Human:”或“Assistant:”提示的响应效果较好，尤其适合较短的回复。在评估集上，该模型取得了如下结果：

• 损失值：2.1534

🚀 快速开始

本模型是 vicgalle/gpt2-open-instruct-v1 在 Anthropic/hh-rlhf 数据集的一个子集（15k）上的微调版本。以下是一个简单的对话示例，展示了模型的使用方式：

Human: Insane clown posse says...

Human: Should we look for a woman?

Assistant: It’s okay if you’re having a tough time finding what you are looking for. It’s a common question people might come up with for an argument or misunderstanding. What are you looking for, and what kind of woman would you have?

Human: Are you trying to find someone to argue

✨ 主要特性

• 对话响应良好：该模型在对话场景中，对“Human:”或“Assistant:”提示的响应效果较好，尤其适合较短的回复。
• 特定场景研究价值：旨在研究指令模型和提示之间的交集，专注于微妙的提示交互。

📚 详细文档

模型描述

GPT2 open instruct 在 open-instruct 数据集上进行了全面训练。它将一个语言模型（LM）头重新设计为部分 rhlf 适配器，并进行了微妙的强化。

预期用途与限制

本模型旨在研究指令模型和提示之间的交集，专注于微妙的提示交互。不过，目前可能需要进行大幅改进。

训练和评估数据

Train dataset size: 15000
Test dataset size: 500
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 15000
})
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 500
})

训练过程

训练超参数

训练过程中使用了以下超参数：

• 学习率：0.0005
• 训练批次大小：2
• 评估批次大小：1
• 随机种子：42
• 优化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 学习率调度器类型：线性
• 学习率调度器预热步数：100
• 训练轮数：4

训练结果

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3

📄 许可证

本模型采用 MIT 许可证。

⚠️ 重要提示

该模型的回复有时可能包含未经审查的言论和暴力内容，尤其是在提问时。在用于其他文本用途时，需要进行审查。建议将生成长度控制在合理范围内，以获得更好的回复效果。