Gpt2 Open Instruct V1 Anthropic Hh Rlhf

🚀 hh-rlhf

このモデルは、vicgalle/gpt2-open-instruct-v1 を Anthropic/hh-rlhf データセットのサブセット（15k）でファインチューニングしたバージョンです。評価セットでは以下の結果を達成しています。

• 損失: 2.1534

このモデルは、会話シチュエーションにおいて 'Human:' または 'Assistant:' のプロンプトに対してかなり良い応答を返します。

短い応答の方が適しています。生成長を適切な範囲に抑えてください。放置すると、かなり難解な応答を返すことがあります。

これには、かなり無修正の発言や時には暴力的な爆発的な応答が含まれます。特に質問をする場合に顕著です。

他のテキスト用途については、精査が必要です。

Human: Insane clown posse says...

Human: Should we look for a woman?

Assistant: It’s okay if you’re having a tough time finding what you are looking for. It’s a common question people might come up with for an argument or misunderstanding. What are you looking for, and what kind of woman would you have?

Human: Are you trying to find someone to argue

📚 ドキュメント

モデルの説明

GPT2 open instruct は、open-instruct データセットで完全に学習されました。1つのLMヘッドを部分的なrhlfアダプタとして再構築し、微妙な強化を行っています。

想定される用途と制限

このモデルは、指示モデルとプロンプトの微妙なやり取りに焦点を当てた研究に使用することを想定しています。現時点では、大幅な改良が必要かもしれません。

学習と評価データ

Train dataset size: 15000
Test dataset size: 500
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 15000
})
Dataset({
    features: ['chosen', 'rejected'],
    num_rows: 500
})

学習手順

学習ハイパーパラメータ

学習中に以下のハイパーパラメータが使用されました。

• 学習率: 0.0005
• 学習バッチサイズ: 2
• 評価バッチサイズ: 1
• シード: 42
• オプティマイザ: Adam (betas=(0.9,0.999), epsilon=1e-08)
• 学習率スケジューラの種類: 線形
• 学習率スケジューラのウォームアップステップ: 100
• エポック数: 4

学習結果

フレームワークのバージョン

• Transformers 4.31.0
• Pytorch 2.0.1+cu118
• Datasets 2.13.1
• Tokenizers 0.13.3

📄 ライセンス

このモデルはMITライセンスの下で提供されています。