One Align

🚀 Q-Align (ICML2024) 対応モデル

このモデルはQ-Align (ICML2024) に対応しています。ゼロショット画像分類を行うことができます。

🚀 クイックスタート

AutoModelを使ったクイックスタート

この画像 を使って、transformers==4.36.1 でAutoModelのスコアラーを起動しましょう。

import requests
import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("q-future/one-align", trust_remote_code=True, attn_implementation="eager", 
                                             torch_dtype=torch.float16, device_map="auto")

from PIL import Image
url = "https://raw.githubusercontent.com/Q-Future/Q-Align/main/fig/singapore_flyer.jpg"
image = Image.open(requests.get(url,stream=True).raw)
model.score([image], task_="quality", input_="image")
# task_ : quality | aesthetics; # input_: image | video

結果は1.911 (範囲 [1,5]、数値が高いほど良い) となるはずです。

論文は arxiv.org/abs/2312.17090 から参照できます。

📚 シラバス

📊 IQA結果 (スピアマン/ピアソン/ケンドール)

📊 IAA結果 (スピアマン/ピアソン)

📊 VQA結果 (スピアマン/ピアソン)

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。