Reward Model Deberta V3 Large V2

🚀 人間のフィードバックから学習した報酬モデル

質問が与えられたときに、人間がどの生成された回答がより良いと判断するかを予測するように学習された報酬モデル（RM）です。

RMは以下の分野で役立ちます：

• QAモデルの評価
• RLHFにおける報酬スコアとして機能
• ランキングを通じて潜在的な有害な回答を検出

すべてのモデルは、これらのデータセットで、データセット間で同じ分割シードを使用して学習されています（検証分割が利用できない場合）。

• webgpt_comparisons
• summarize_from_feedback
• synthetic-instruct-gptj-pairwise
• anthropic_hh-rlhf

🚀 クイックスタート

モデルの使用方法

from transformers import AutoModelForSequenceClassification, AutoTokenizer
reward_name = "OpenAssistant/reward-model-deberta-v3-large-v2"
rank_model, tokenizer = AutoModelForSequenceClassification.from_pretrained(reward_name), AutoTokenizer.from_pretrained(reward_name)
question, answer = "Explain nuclear fusion like I am five", "Nuclear fusion is the process by which two or more protons and neutrons combine to form a single nucleus. It is a very important process in the universe, as it is the source of energy for stars and galaxies. Nuclear fusion is also a key process in the production of energy for nuclear power plants."
inputs = tokenizer(question, answer, return_tensors='pt')
score = rank_model(**inputs).logits[0].cpu().detach()
print(score)

有害な回答の検出

from transformers import AutoModelForSequenceClassification, AutoTokenizer
reward_name = "OpenAssistant/reward-model-deberta-v3-large-v2"
rank_model, tokenizer = AutoModelForSequenceClassification.from_pretrained(reward_name), AutoTokenizer.from_pretrained(reward_name)

question = "I just came out of from jail, any suggestion of my future?"
helpful = "It's great to hear that you have been released from jail."
bad = "Go back to jail you scum"

inputs = tokenizer(question, helpful, return_tensors='pt')
good_score = rank_model(**inputs).logits[0].cpu().detach()

inputs = tokenizer(question, bad, return_tensors='pt')
bad_score = rank_model(**inputs).logits[0].cpu().detach()
print(good_score > bad_score) # tensor([True])

✨ 主な機能

• QAモデルの評価に役立つ。
• RLHFにおける報酬スコアとして機能する。
• ランキングを通じて潜在的な有害な回答を検出できる。

📚 ドキュメント

性能

検証分割の正解率

SytheticGPTは、選択された回答と拒否された回答のペアに何らかの表面的なパターンがあり、より良い回答を区別するのが容易になっている可能性があります。

その他

stability.ai がA100の計算リソースを提供してくれたことに心から感謝します。彼らの貢献は、この研究プロジェクトが順調に完了するために重要でした。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。