Pairrm

🚀 LLM-BlenderのPairwise Reward Model (PairRM)

Pairwise Reward Model (PairRM) は、命令と出力候補のペアを入力とし、各候補の相対的な品質を測定するスコアを出力します。このモデルは、候補出力のリストを（再）ランク付けするために使用でき、ローカル環境でLLMの品質を効率的に評価するLLM評価器としても利用できます。また、best-of-n sampling（つまり、N個のサンプリング出力を再ランク付けする）によってデコーディングを強化するためにも使用できます。さらに、PairRMを使用して、RLHF手法により命令調整されたLLMをさらにアライメントすることもできます。

🚀 クイックスタート

Pairwise Reward Model (PairRM) は、命令と出力候補のペアを入力とし、各候補の相対的な品質を測定するスコアを出力します。このモデルは、候補出力のリストを（再）ランク付けするために使用でき、ローカル環境でLLMの品質を効率的に評価するLLM評価器としても利用できます。

インストール

• まず、llm-blender をインストールします。

pip install git+https://github.com/yuchenlin/LLM-Blender.git

• 次に、PairRMをロードします。

import llm_blender
blender = llm_blender.Blender()
blender.loadranker("llm-blender/PairRM") # PairRMをロード

使用例

基本的な使用法

# 候補応答のリストをランク付けする
inputs = ["hello, how are you!", "I love you!"]
candidates_texts = [["get out!", "hi! I am fine, thanks!", "bye!"], 
                    ["I love you too!", "I hate you!", "Thanks! You're a good guy!"]]
ranks = blender.rank(inputs, candidates_texts, return_scores=False, batch_size=1)
# ranksはランクのリストです
# ranks[i][j]は、入力iに対する候補jのランクを表します
"""
ranks -->
array([[3, 1, 2], # つまり、"hi! I am fine, thanks!"は1位、"bye"は2位、"get out!"は3位です。
       [1, 3, 2]], # つまり、"I love you too"!は1位、"I hate you!"は3位です。
       dtype=int32) 

"""

高度な使用法

# Best-of-nサンプリング (デコーディングの強化)
# モデルのロード
import llm_blender
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceH4/zephyr-7b-beta")
model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta", device_map="auto")
system_message = {"role": "system", "content": "You are a friendly chatbot."}

# 入力のフォーマット
inputs = ["can you tell me a joke about OpenAI?"]
messages = [[system_message, {"role": "user", "content": _input}] for _input in inputs]
prompts = [tokenizer.apply_chat_template(m, tokenize=False, add_generation_prompt=True) for m in messages]

# 従来の生成方法
input_ids = tokenizer(prompts[0], return_tensors="pt").input_ids
sampled_outputs = model.generate(input_ids, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
print(tokenizer.decode(sampled_outputs[0][len(input_ids[0]):], skip_special_tokens=False))
# --> 出力は、非常に短いものなどの悪いケースになる可能性があります。例えば、`Sure` 

# PairRMによるbest-of-nサンプリング
blender = llm_blender.Blender()
blender.loadranker("llm-blender/PairRM") # ランカーのチェックポイントをロード
outputs = blender.best_of_n_generate(model, tokenizer, prompts, n=10)

print("### Prompt:\n", prompts[0])
print("### best-of-n generations:\n", outputs[0])
# --> 出力は、単一のサンプリングよりもはるかに安定し、一貫して良くなります。例えば: 
""" 
Sure, here's a joke about OpenAI:

Why did OpenAI decide to hire a mime as their new AI researcher?

Because they wanted someone who could communicate complex ideas without making a sound!

(Note: This is a joke, not a reflection of OpenAI's actual hiring practices.)
"""

✨ 主な機能

• Pairwise Reward Model (PairRM) は、命令と出力候補のペアを入力とし、各候補の相対的な品質を測定するスコアを出力します。
• PairRMは、候補出力のリストを（再）ランク付けするために使用でき、ローカル環境でLLMの品質を効率的に評価するLLM評価器としても利用できます。
• PairRMは、best-of-n sampling（つまり、N個のサンプリング出力を再ランク付けする）によってデコーディングを強化するためにも使用できます。
• PairRMは、RLHF手法により命令調整されたLLMをさらにアライメントするためにも使用できます。

📦 インストール

• まず、llm-blender をインストールします。

pip install git+https://github.com/yuchenlin/LLM-Blender.git

• 次に、PairRMをロードします。

import llm_blender
blender = llm_blender.Blender()
blender.loadranker("llm-blender/PairRM") # PairRMをロード

💻 使用例

基本的な使用法

# 候補応答のリストをランク付けする
inputs = ["hello, how are you!", "I love you!"]
candidates_texts = [["get out!", "hi! I am fine, thanks!", "bye!"], 
                    ["I love you too!", "I hate you!", "Thanks! You're a good guy!"]]
ranks = blender.rank(inputs, candidates_texts, return_scores=False, batch_size=1)
# ranksはランクのリストです
# ranks[i][j]は、入力iに対する候補jのランクを表します
"""
ranks -->
array([[3, 1, 2], # つまり、"hi! I am fine, thanks!"は1位、"bye"は2位、"get out!"は3位です。
       [1, 3, 2]], # つまり、"I love you too"!は1位、"I hate you!"は3位です。
       dtype=int32) 

"""

高度な使用法

# Best-of-nサンプリング (デコーディングの強化)
# モデルのロード
import llm_blender
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("HuggingFaceH4/zephyr-7b-beta")
model = AutoModelForCausalLM.from_pretrained("HuggingFaceH4/zephyr-7b-beta", device_map="auto")
system_message = {"role": "system", "content": "You are a friendly chatbot."}

# 入力のフォーマット
inputs = ["can you tell me a joke about OpenAI?"]
messages = [[system_message, {"role": "user", "content": _input}] for _input in inputs]
prompts = [tokenizer.apply_chat_template(m, tokenize=False, add_generation_prompt=True) for m in messages]

# 従来の生成方法
input_ids = tokenizer(prompts[0], return_tensors="pt").input_ids
sampled_outputs = model.generate(input_ids, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
print(tokenizer.decode(sampled_outputs[0][len(input_ids[0]):], skip_special_tokens=False))
# --> 出力は、非常に短いものなどの悪いケースになる可能性があります。例えば、`Sure` 

# PairRMによるbest-of-nサンプリング
blender = llm_blender.Blender()
blender.loadranker("llm-blender/PairRM") # ランカーのチェックポイントをロード
outputs = blender.best_of_n_generate(model, tokenizer, prompts, n=10)

print("### Prompt:\n", prompts[0])
print("### best-of-n generations:\n", outputs[0])
# --> 出力は、単一のサンプリングよりもはるかに安定し、一貫して良くなります。例えば: 
""" 
Sure, here's a joke about OpenAI:

Why did OpenAI decide to hire a mime as their new AI researcher?

Because they wanted someone who could communicate complex ideas without making a sound!

(Note: This is a joke, not a reflection of OpenAI's actual hiring practices.)
"""

📚 ドキュメント

コンテキスト長

訓練データセット

• openai/summarize_from_feedback
• openai/webgpt_comparisons
• Dahoas/synthetic-instruct-gptj-pairwise
• Anthropic/hh-rlhf
• lmsys/chatbot_arena_conversations
• openbmb/UltraFeedback

性能

Auto-Jペアワイズテストデータの性能

HHH-AlignmentとMT-benchの人間の判断

🔧 技術詳細

PairRMは、双方向注意を通じてペアワイズ比較用に特別に設計されたモデルアーキテクチャを持ち、高品質で大規模な人間の嗜好アノテーションデータで訓練されています。これにより、非常に小さなモデルサイズ（0.4B）で、人間の嗜好と高い相関を示し、GPT-4の性能に近づいています。

📄 ライセンス

このプロジェクトは、MITライセンスの下で公開されています。

引用とクレジット

もしあなたが研究でPairRMを使用している場合は、LLM-blenderを引用してください。

@inproceedings{llm-blender-2023,
    title = "LLM-Blender: Ensembling Large Language Models with Pairwise Comparison and Generative Fusion",
    author = "Jiang, Dongfu and Ren, Xiang and Lin, Bill Yuchen",
    booktitle = "Proceedings of the 61th Annual Meeting of the Association for Computational Linguistics (ACL 2023)",
    year = "2023"
}