Decision Tree Reward Gemma 2 27B

🚀 決定木を用いた言語モデルの好みの解釈

このプロジェクトは、決定木を通じて言語モデルの好みを解釈する手法を提供します。複数のモデルを比較し、RewardBenchのランキングを公開しています。

• 著者: Min Li
• ブログ: https://rlhflow.github.io/posts/2025-01-22-decision-tree-reward-model/
• モデル:
  • Decision-Tree-Reward-Gemma-2-27B
  • Decision-Tree-Reward-Llama-3.1-8B
• コードリポジトリ: https://github.com/RLHFlow/RLHF-Reward-Modeling/tree/main/decision_tree
• 技術レポート: 近日公開予定

📊 RewardBenchリーダーボード (2025年1月)

💻 使用例

基本的な使用法

モデルを使用する前に、以下の依存関係をインストールしてください。

• transformers==4.45.2
• torch>=2.5.0
• flash-attn>=2.6.3

注意: このコードはNVIDIA Ampereアーキテクチャ以上のGPUが必要です。

from transformers import AutoModelForSequenceClassification
import torch
from transformers import AutoTokenizer
model_name = "Decision-Tree-Reward-Gemma-2-27B" # もう一つの選択肢は "Decision-Tree-Reward-Llama-3.1-8B" 
repo_id = f"RLHFlow/{model_name}"
device = "cuda"
# モデルとトークナイザーの初期化
model = AutoModelForSequenceClassification.from_pretrained(repo_id, trust_remote_code=True, torch_dtype=torch.bfloat16, attn_implementation="flash_attention_2", device_map=device)
tokenizer = AutoTokenizer.from_pretrained(repo_id, use_fast=True)
# 決定木の読み込み
model.load_decision_tree(repo_id, filename="decision_tree.pkl")

# プロンプトとレスポンスのペア
prompt = "Jane has 12 apples. She gives 4 apples to her friend Mark, then buys 1 more apple, and finally splits all her apples equally among herself and her 2 siblings. How many apples does each person get?"
response1 = "1. Jane starts with 12 apples and gives 4 to Mark. 12 - 4 = 8. Jane now has 8 apples.\n2. Jane buys 1 more apple. 8 + 1 = 9. Jane now has 9 apples.\n3. Jane splits the 9 apples equally among herself and her 2 siblings (3 people in total). 9 ÷ 3 = 3 apples each. Each person gets 3 apples."
response2 = "1. Jane starts with 12 apples and gives 4 to Mark. 12 - 4 = 8. Jane now has 8 apples.\n2. Jane buys 1 more apple. 8 + 1 = 9. Jane now has 9 apples.\n3. Jane splits the 9 apples equally among her 2 siblings (2 people in total). 9 ÷ 2 = 4.5 apples each. Each person gets 4 apples."

# 2つのレスポンスを比較
output = model.compare(prompt, response1, response2, tokenizer, device)
print("Response 1 rewards")
print(dict(zip(output["attributes"], output["rewards"][0])))
# {'helpfulness': 3.7171721, 'correctness': 3.792478, 'coherence': 3.6601954, 'complexity': 0.8211964, 'verbosity': 1.8119512}
print("Response 2 rewards")
print(dict(zip(output["attributes"], output["rewards"][1])))
# {'helpfulness': -0.261065, 'correctness': -0.2378807, 'coherence': 2.4387608, 'complexity': 0.72620213, 'verbosity': 1.7181122}
print("Model preference")
print(output["preference"])
# 0

📄 ライセンス

注意: このモデルはSkyworkモデルをファインチューニングしたもので、以下のライセンス契約に基づいています。

Skyworkモデルのコミュニティ利用にはSkywork Community Licenseが必要です。Skyworkモデルは商用利用をサポートしています。Skyworkモデルまたはその派生モデルを商用目的で使用する場合は、Skywork Community License内の条件に従わなければなりません。

📋 今後の予定

• [x] 報酬モデルの使用コード
• [ ] アーキテクチャ図