One Align

🚀 Q-Align - 零樣本圖像分類模型

Q-Align 是一個對應於 ICML2024 的模型，主要用於零樣本圖像分類任務，能對圖像質量、美學等方面進行評分。

🚀 快速開始

使用 AutoModel 快速上手

對於這張圖片：，使用 transformers==4.36.1 啟動一個 AutoModel 評分器：

import requests
import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("q-future/one-align", trust_remote_code=True, attn_implementation="eager", 
                                             torch_dtype=torch.float16, device_map="auto")

from PIL import Image
url = "https://raw.githubusercontent.com/Q-Future/Q-Align/main/fig/singapore_flyer.jpg"
image = Image.open(requests.get(url,stream=True).raw)
model.score([image], task_="quality", input_="image")
# task_ : quality | aesthetics; # input_: image | video

結果應該是 1.911（範圍在 [1,5] 內，值越高越好）。

論文鏈接：arxiv.org/abs/2312.17090。

📚 課程大綱

📊 IQA 結果（斯皮爾曼/皮爾遜/肯德爾係數）

📊 IAA 結果（斯皮爾曼/皮爾遜係數）

📊 VQA 結果（斯皮爾曼/皮爾遜係數）

📄 許可證

本項目採用 MIT 許可證。