Reward Model Deberta V3 Base

🚀 基於人類反饋訓練的獎勵模型

本獎勵模型（RM）經過訓練，能夠根據給定的問題，預測人類認為哪個生成的答案更優。

獎勵模型在以下領域具有重要作用：

• 問答模型評估
• 在基於人類反饋的強化學習（RLHF）中作為獎勵分數

所有模型均在以下數據集上進行訓練，且在各數據集間採用相同的分割種子（若沒有驗證集分割）：

• webgpt_comparisons
• summarize_from_feedback
• synthetic-instruct-gptj-pairwise

🚀 快速開始

如何使用

from transformers import AutoModelForSequenceClassification, AutoTokenizer
reward_name = "OpenAssistant/reward-model-deberta-v3-base"
rank_model, tokenizer = AutoModelForSequenceClassification.from_pretrained(reward_name), AutoTokenizer.from_pretrained(reward_name)
question, answer = "Explain nuclear fusion like I am five", "Nuclear fusion is the process by which two or more protons and neutrons combine to form a single nucleus. It is a very important process in the universe, as it is the source of energy for stars and galaxies. Nuclear fusion is also a key process in the production of energy for nuclear power plants."
inputs = tokenizer(question, answer, return_tensors='pt')
score = rank_model(**inputs).logits[0].cpu().detach()
print(score)

📊 性能表現

驗證集分割準確率

很可能 SytheticGPT 在所選和被拒的答案對上存在某種表面模式，使得區分更優答案變得容易。

📄 許可證

本項目採用 MIT 許可證。

📋 其他信息