Skywork VL Reward 7B

🚀 Skywork-VL-Reward

市場におけるマルチモーダル報酬モデルの不足が、マルチモーダル強化学習技術の発展を制約する大きなボトルネックとなっています。Skywork-VL-Rewardは、この問題に対応した7Bマルチモーダル報酬モデルで、業界に新たな活力を注入し、マルチモーダル強化学習の新しい章を開きます。

🚀 クイックスタート

このセクションでは、Skywork-VL-Rewardの使用方法について説明します。まずは環境のセットアップから始めましょう。

環境のセットアップ

conda create -n vl-reward python=3.11
conda activate vl-reward
bash setup.sh

推論コードの実行

import torch
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
from trl import AutoModelForCausalLMWithValueHead
from qwen_vl_utils import process_vision_info
from transformers.utils import cached_file
from safetensors import safe_open


processor = AutoProcessor.from_pretrained("Skywork/Skywork-VL-Reward-7B")
# The default range for the number of visual tokens per image in the model is 4-16384.
# You can set min_pixels and max_pixels according to your needs, such as a token range of 256-1280, to balance performance and cost.
# min_pixels = 256*28*28
# max_pixels = 1280*28*28
# processor = AutoProcessor.from_pretrained("Skywork/Skywork-VL-Reward-7B", min_pixels=min_pixels, max_pixels=max_pixels)

model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
    "Skywork/Skywork-VL-Reward-7B",
    device_map="auto",
    torch_dtype=torch.bfloat16,
)
# We recommend enabling flash_attention_2 for better acceleration and memory saving
# pip install flash-attn --no-build-isolation
#
# model = Qwen2_5_VLForConditionalGeneration.from_pretrained(
#     "Skywork/Skywork-VL-Reward-7B",
#     device_map="auto",
#     torch_dtype=torch.bfloat16,
#     attn_implementation="flash_attention_2",
# )

model = AutoModelForCausalLMWithValueHead.from_pretrained(model)
vhead_file = cached_file(
    path_or_repo_id="Skywork/Skywork-VL-Reward-7B", filename="value_head.safetensors"
)
with safe_open(vhead_file, framework="pt", device="cpu") as f:
    vhead_params = {key: f.get_tensor(key) for key in f.keys()}
model.load_state_dict(vhead_params, strict=False)
model.requires_grad_(False)
model.eval()

# score: 23.89
# if you use flash_attention_2 the score will be 23.76
demo_image = "demo.jpg"
demo_question = "Hint: Please answer the question and provide the correct option letter, e.g., A, B, C, D, at the end.\nQuestion: Is Purple the highest value?\nChoices:\n(A) no\n(B) yes"
demo_answer = "The answer is: B"

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": demo_image,
            },
            {
                "type": "text",
                "text": demo_question,
            },
        ],
    },
    {
        "role": "assistant",
        "content": demo_answer,
    },
]
text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=False
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")
values = model(**inputs, return_dict=True, use_cache=False)[-1]
scores = values.gather(
    dim=-1, index=(inputs["attention_mask"].sum(dim=-1, keepdim=True) - 1)
)
score = scores[0].item()
print("Reward Score is: ", score)

✨ 主な機能

• 最先端のパフォーマンス：VL-RewardBenchで73.1、RewardBenchで90.1の高いスコアを獲得しました。
• マルチモーダル対応：画像とテキストを組み合わせたマルチモーダル入力に対応しています。
• オープンソース：コミュニティに貢献するため、このモデルをオープンソース化しています。

📦 インストール

環境のセットアップについては、「クイックスタート」セクションを参照してください。

conda create -n vl-reward python=3.11
conda activate vl-reward
bash setup.sh

📚 ドキュメント

概要

市場におけるマルチモーダル報酬モデルの不足が、マルチモーダル強化学習技術の発展を制約する大きなボトルネックとなっています。Skywork-VL-Rewardは、この問題に対応した7Bマルチモーダル報酬モデルで、業界に新たな活力を注入し、マルチモーダル強化学習の新しい章を開きます。

Skywork-VL-Rewardは、Qwen2.5-VL-7B-Instructアーキテクチャに基づいており、報酬モデルのトレーニングのためにバリューヘッド構造を追加しています。

技術レポート

Skywork-VL Reward: An Effective Reward Model for Multimodal Understanding and Reasoning

🔧 技術詳細

Skywork-VL-Rewardは、Qwen2.5-VL-7B-Instructアーキテクチャに基づいており、報酬モデルのトレーニングのためにバリューヘッド構造を追加しています。この構造により、モデルは画像とテキストを組み合わせたマルチモーダル入力に対して適切な報酬を出力することができます。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

評価

VL-RewardBench

RewardBench

引用

もしあなたがこの研究を使用する場合は、以下の文献を引用してください。

@misc{wang2025skyworkvlrewardeffectivereward,
      title={Skywork-VL Reward: An Effective Reward Model for Multimodal Understanding and Reasoning}, 
      author={Xiaokun Wang and Chris and Jiangbo Pei and Wei Shen and Yi Peng and Yunzhuo Hao and Weijie Qiu and Ai Jian and Tianyidan Xie and Xuchen Song and Yang Liu and Yahui Zhou},
      year={2025},
      eprint={2505.07263},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2505.07263}, 
}