Reward Model Deberta V3 Large

🚀 基于人类反馈训练的奖励模型

本奖励模型（RM）经过训练，能够根据给定的问题，预测人类认为哪个生成的答案更优。

奖励模型在以下领域发挥着重要作用：

• 问答模型评估
• 在基于人类反馈的强化学习（RLHF）中作为奖励分数

所有模型均在以下数据集上进行训练，并在各数据集间采用相同的分割种子（若没有验证集分割，则进行相应处理）：

• webgpt_comparisons
• summarize_from_feedback
• synthetic-instruct-gptj-pairwise

🚀 快速开始

模型使用方法

以下是使用奖励模型的代码示例：

from transformers import AutoModelForSequenceClassification, AutoTokenizer
reward_name = "OpenAssistant/reward-model-deberta-v3-large"
rank_model, tokenizer = AutoModelForSequenceClassification.from_pretrained(reward_name), AutoTokenizer.from_pretrained(reward_name)
question, answer = "Explain nuclear fusion like I am five", "Nuclear fusion is the process by which two or more protons and neutrons combine to form a single nucleus. It is a very important process in the universe, as it is the source of energy for stars and galaxies. Nuclear fusion is also a key process in the production of energy for nuclear power plants."
inputs = tokenizer(question, answer, return_tensors='pt')
score = rank_model(**inputs).logits[0].cpu().detach()
print(score)

✨ 主要特性

应用领域广泛

奖励模型可用于问答模型评估，同时能在基于人类反馈的强化学习（RLHF）中作为奖励分数，为模型训练提供重要支持。

多数据集训练

模型在多个数据集上进行训练，包括 webgpt_comparisons、summarize_from_feedback 和 synthetic-instruct-gptj-pairwise，确保了模型的泛化能力。

📚 详细文档

性能表现

以下是各模型在验证集分割上的准确率：

值得注意的是，SytheticGPT 在所选和被拒对之间可能存在某种表面模式，使得区分更好的答案变得相对容易。

📄 许可证

本项目采用 MIT 许可证。

🔍 补充信息