Gpt2 Open Instruct V1 Anthropic Hh Rlhf

🚀 hh-rlhf

本模型是基於 vicgalle/gpt2-open-instruct-v1 在 Anthropic/hh-rlhf 數據集的一個子集（15k）上進行微調的版本。它在對話場景中，對“Human:”或“Assistant:”提示的響應效果較好，尤其適合較短的回覆。在評估集上，該模型取得了如下結果：

• 損失值：2.1534

🚀 快速開始

本模型是 vicgalle/gpt2-open-instruct-v1 在 Anthropic/hh-rlhf 數據集的一個子集（15k）上的微調版本。以下是一個簡單的對話示例，展示了模型的使用方式：

Human: Insane clown posse says...

Human: Should we look for a woman?

Assistant: It’s okay if you’re having a tough time finding what you are looking for. It’s a common question people might come up with for an argument or misunderstanding. What are you looking for, and what kind of woman would you have?

Human: Are you trying to find someone to argue

✨ 主要特性

• 對話響應良好：該模型在對話場景中，對“Human:”或“Assistant:”提示的響應效果較好，尤其適合較短的回覆。
• 特定場景研究價值：旨在研究指令模型和提示之間的交集，專注於微妙的提示交互。

📚 詳細文檔

模型描述

GPT2 open instruct 在 open-instruct 數據集上進行了全面訓練。它將一個語言模型（LM）頭重新設計為部分 rhlf 適配器，並進行了微妙的強化。

預期用途與限制

本模型旨在研究指令模型和提示之間的交集，專注於微妙的提示交互。不過，目前可能需要進行大幅改進。

訓練和評估數據

Train dataset size: 15000
Test dataset size: 500
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 15000
})
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 500
})

訓練過程

訓練超參數

訓練過程中使用了以下超參數：

• 學習率：0.0005
• 訓練批次大小：2
• 評估批次大小：1
• 隨機種子：42
• 優化器：Adam（β1 = 0.9，β2 = 0.999，ε = 1e-08）
• 學習率調度器類型：線性
• 學習率調度器預熱步數：100
• 訓練輪數：4

訓練結果

框架版本

• Transformers 4.31.0
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3

📄 許可證

本模型採用 MIT 許可證。

⚠️ 重要提示

該模型的回覆有時可能包含未經審查的言論和暴力內容，尤其是在提問時。在用於其他文本用途時，需要進行審查。建議將生成長度控制在合理範圍內，以獲得更好的回覆效果。