Q Sit Mini

🚀 Q-SiT: 画像品質のスコアリングと解釈を大規模言語モデルで行う

Q-SiTは、画像品質のスコアリングと解釈を行うモデルです。このモデルは大規模言語モデルを使用して、人間の視覚システムにおける知覚と意思決定の関係を認識し、2つのタスクを同時に実行します。これまでのアプローチがスコアリングと解釈を別々のタスクとして扱っていたのに対し、Q-SiTは統一的なフレームワークを提供します。

プロジェクトページ: https://github.com/Q-Future/Q-SiT

🚀 クイックスタート

このGitHubリポジトリをインストールする必要はありません。Transformersパッケージのバージョン4.45.0を使用するようにしてください（pip install transformers==4.45.0）。

💻 画像品質解釈チャット

import requests
from PIL import Image
import torch
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration

model_id = "zhangzicheng/q-sit-mini"
# メインバージョンを使用する場合は、q-sitに切り替えてください
# model_id = "zhangzicheng/q-sit"

model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
).to(0)

processor = AutoProcessor.from_pretrained(model_id)


conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "How is the clarity of the human in this image?"},
            {"type": "image"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

raw_image = Image.open(requests.get("https://github.com/Q-Future/Q-SiT/blob/main/44009500.jpg?raw=true",stream=True).raw)

inputs = processor(images=raw_image, text=prompt, return_tensors='pt').to(0, torch.float16)

output = model.generate(**inputs, max_new_tokens=200, do_sample=False)
print(processor.decode(output[0][2:], skip_special_tokens=True).split("assistant")[-1])
# very low

💻 画像品質スコアリング

import torch
import requests
from PIL import Image
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration, AutoTokenizer
import numpy as np

def wa5(logits):
    logprobs = np.array([logits["Excellent"], logits["Good"], logits["Fair"], logits["Poor"], logits["Bad"]])
    probs = np.exp(logprobs) / np.sum(np.exp(logprobs))
    return np.inner(probs, np.array([1, 0.75, 0.5, 0.25, 0]))

model_id = "zhangzicheng/q-sit-mini"
model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True,
).to(0)

processor = AutoProcessor.from_pretrained(model_id)
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 評価トークンを定義
toks = ["Excellent", "Good", "Fair", "Poor", "Bad"]
ids_ = [id_[0] for id_ in tokenizer(toks)["input_ids"]]
print("Rating token IDs:", ids_)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Assume you are an image quality evaluator. Your rating should be chosen from the following five categories: Excellent, Good, Fair, Poor, and Bad (from high to low). How would you rate the quality of this image?"},
            {"type": "image"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

# 画像をロード
raw_image = Image.open(requests.get("https://github.com/Q-Future/Q-SiT/blob/main/44009500.jpg?raw=true",stream=True).raw)
inputs = processor(images=raw_image, text=prompt, return_tensors='pt').to(0, torch.float16)

# アシスタントの接頭辞 "The quality of this image is " を手動で追加
prefix_text = "The quality of this image is "
prefix_ids = tokenizer(prefix_text, return_tensors="pt")["input_ids"].to(0)
inputs["input_ids"] = torch.cat([inputs["input_ids"], prefix_ids], dim=-1)
inputs["attention_mask"] = torch.ones_like(inputs["input_ids"])  # アテンションマスクを更新

# 正確に1つのトークン（評価）を生成
output = model.generate(
    **inputs,
    max_new_tokens=1,  # 評価トークンのみを生成
    output_logits=True,
    return_dict_in_generate=True,
)

# 生成された評価トークンのロジットを抽出
last_logits = output.logits[-1][0]  # 形状: [vocab_size]
logits_dict = {tok: last_logits[id_].item() for tok, id_ in zip(toks, ids_)}
weighted_score = wa5(logits_dict)
print("Weighted average score:", weighted_score)
# Weighted average score: 0.045549712192942585  範囲は0-1
# 範囲を0-5にする場合は、5を掛けてください

データセット評価スクリプトについては、このディレクトリを参照してください。トレーニング情報については、GitHubリポジトリのTraining Q-SiTセクションを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。

📚 引用

もし私たちの研究が役に立った場合は、以下のように論文を引用してください。

@misc{zhang2025teachinglmmsimagequality,
      title={Teaching LMMs for Image Quality Scoring and Interpreting}, 
      author={Zicheng Zhang and Haoning Wu and Ziheng Jia and Weisi Lin and Guangtao Zhai},
      year={2025},
      eprint={2503.09197},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2503.09197}, 
}