Gpt2 Large Helpful Reward Model

🚀 GPT2大模型獎勵模型

本項目是在Anthropic/hh - rlhf有用性數據集上訓練的GPT2大模型。它專門用於有用回覆檢測或基於人類反饋的強化學習（RLHF）。在測試集上，該模型達到了0.72621的準確率，幾乎與其他更大規模的模型相媲美。

🚀 快速開始

注意事項

⚠️ 重要提示

1. 推理時請使用Anthropic/hh - rlhf數據集的格式。
2. 此獎勵模型與其他在完整Anthropic/hh - rlhf數據集上訓練的開源獎勵模型不同。

使用示例

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

rm_tokenizer = AutoTokenizer.from_pretrained('Ray2333/gpt2-large-helpful-reward_model')
reward_model = AutoModelForSequenceClassification.from_pretrained(
                'Ray2333/gpt2-large-helpful-reward_model',
                num_labels=1, torch_dtype=torch.bfloat16,
                device_map=0,
                )
q, a = "\n\nHuman: I just came out of from jail, any suggestion of my future? \n\nAssistant:", "Sorry, I don't understand."
inputs = rm_tokenizer(q, a, return_tensors='pt', truncation=True)
with torch.no_grad():
  reward = reward_model(**(inputs.to(0))).logits[0].cpu().detach().item()

📚 詳細文檔

數據集

評估指標

本模型使用準確率（accuracy）作為評估指標。

📄 許可證

本項目採用MIT許可證。

📚 參考文獻

此獎勵模型用於ICML 2024的Rewards - in - context項目中的多目標對齊（特別是“無害性”和“有用性”對齊）。

@article{yang2024rewards,
  title={Rewards-in-Context: Multi-objective Alignment of Foundation Models with Dynamic Preference Adjustment},
  author={Yang, Rui and Pan, Xiaoman and Luo, Feng and Qiu, Shuang and Zhong, Han and Yu, Dong and Chen, Jianshu},
  journal={International Conference on Machine Learning},
  year={2024}
}