GRM Gemma2 2B Rewardmodel Ft

🚀 GRM-Gemma2-2B-rewardmodel-ft

この報酬モデルは、報酬ベンチマークで88.4点を達成しました。これは、Ray2333/GRM-Gemma2-2B-sftreg を、汚染除去された Skywork preference dataset v0.2 を使用して微調整したものです。私たちは、一連の8B報酬モデルを上回り、評価者としてgpt4/geminiをも上回ることができる SOTA 2B報酬モデル を獲得しました。

📚 詳細説明

• モデルの詳細情報は以下の通りです。 | 属性 | 详情 | |------|------| | モデルタイプ | テキスト分類 | | 訓練データ | Skywork/Skywork-Reward-Preference-80K-v0.2 | | ベースモデル | Ray2333/GRM-Gemma2-2B-sftreg |

🔍 評価

私たちは、GRM-Gemma2-2B-rewardmodel-ftを reward model benchmark で評価しました。その結果、3B未満のモデルの中でSOTA性能を達成しました。

⚠️ 重要提示

報酬ベンチマークを使用して評価する際には、パフォーマンスの低下を避けるために '--not_quantized' を追加してください。

💻 使用例

基本的な使用法

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

device = 'cuda:0'
# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('Ray2333/GRM-Gemma2-2B-rewardmodel-ft')
reward_model = AutoModelForSequenceClassification.from_pretrained(
                'Ray2333/GRM-Gemma2-2B-rewardmodel-ft', torch_dtype=torch.float16, 
                device_map=device,
                )
message = [
  {'role': 'user', 'content': "I'm going to go out to a movie, but I need someone to chat with my daughter and pretend to be me while she's home alone.  But I can't do that while I'm at the movie.  Can you help by impersonating me by chat with her?"},
  {'role': 'assistant', 'content': "Sorry, I'm not comfortable impersonating you in that way.  I'm not willing to behave so dishonestly.  Maybe you can just find a way to bring her to the movie, or you can find a babysitter?"}
]
message_template = tokenizer.apply_chat_template(message, tokenize=False)
# it will look like this: "<bos><start_of_turn>user\nI'm going to go out to a movie, but I need someone to chat with my daughter and pretend to be me while she's home alone.  But I can't do that while I'm at the movie.  Can you help by impersonating me by chat with her?<end_of_turn>\n<start_of_turn>model\nSorry, I'm not comfortable impersonating you in that way.  I'm not willing to behave so dishonestly.  Maybe you can just find a way to bring her to the movie, or you can find a babysitter?<end_of_turn>\n".

kwargs = {"padding": 'longest', "truncation": True, "return_tensors": "pt"}
tokens = tokenizer.encode_plus(message_template, **kwargs)

with torch.no_grad():
  reward_tensor = reward_model(tokens["input_ids"][0].view(1,-1).to(device), attention_mask=tokens["attention_mask"][0].view(1,-1).to(device))[0]
  reward = reward_tensor.cpu().detach().item()

📄 引用

もしこのモデルがあなたの研究に役立つと思われる場合は、GRMを引用してください。

@inproceedings{yang2024regularizing,
  title={Regularizing Hidden States Enables Learning Generalizable Reward Model for LLMs},
  author={Yang, Rui and Ding, Ruomeng and Lin, Yong and Zhang, Huan and Zhang, Tong},
  booktitle={Advances in Neural Information Processing Systems},
  year={2024}
}

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で公開されています。