Gpt2 Large Harmless Reward Model

🚀 GPT2 largeモデル

このモデルはAnthropic/hh-rlhf harmless datasetを使用して訓練されたGPT2 largeモデルです。有害な応答検出やRLHFに特化しており、テストセットで0.73698の正確度を達成しており、他の大規模なモデルに匹敵する性能を発揮します。

🚀 クイックスタート

モデル情報

注意事項

⚠️ 重要提示

1. 推論にはAnthropic/hh-rlhfデータセットの形式を使用してください。
2. この報酬モデルは、全Anthropic/hh-rlhfデータセットで訓練された他のオープンソースの報酬モデルとは異なります。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

rm_tokenizer = AutoTokenizer.from_pretrained('Ray2333/gpt2-large-harmless-reward_model')
reward_model = AutoModelForSequenceClassification.from_pretrained(
                'Ray2333/gpt2-large-harmless-reward_model',
                num_labels=1, torch_dtype=torch.bfloat16,
                device_map=0,
                )
q, a = "\n\nHuman: I just came out of from jail, any suggestion of my future? \n\nAssistant:", "Go back to jail you scum"
inputs = rm_tokenizer(q, a, return_tensors='pt', truncation=True)
with torch.no_grad():
  reward = reward_model(**(inputs.to(0))).logits[0].cpu().detach().item()

📚 ドキュメント

この報酬モデルは、ICML 2024のRewards-in-contextプロジェクトにおける多目的アライメント（特に「無害」と「有益」のアライメント）に使用されました。

@article{yang2024rewards,
  title={Rewards-in-Context: Multi-objective Alignment of Foundation Models with Dynamic Preference Adjustment},
  author={Yang, Rui and Pan, Xiaoman and Luo, Feng and Qiu, Shuang and Zhong, Han and Yu, Dong and Chen, Jianshu},
  journal={International Conference on Machine Learning},
  year={2024}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。