One Align

🚀 Q-Align - 零样本图像分类模型

Q-Align 是一个对应于 ICML2024 的模型，主要用于零样本图像分类任务，能对图像质量、美学等方面进行评分。

🚀 快速开始

使用 AutoModel 快速上手

对于这张图片：，使用 transformers==4.36.1 启动一个 AutoModel 评分器：

import requests
import torch
from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("q-future/one-align", trust_remote_code=True, attn_implementation="eager", 
                                             torch_dtype=torch.float16, device_map="auto")

from PIL import Image
url = "https://raw.githubusercontent.com/Q-Future/Q-Align/main/fig/singapore_flyer.jpg"
image = Image.open(requests.get(url,stream=True).raw)
model.score([image], task_="quality", input_="image")
# task_ : quality | aesthetics; # input_: image | video

结果应该是 1.911（范围在 [1,5] 内，值越高越好）。

论文链接：arxiv.org/abs/2312.17090。

📚 课程大纲

📊 IQA 结果（斯皮尔曼/皮尔逊/肯德尔系数）

📊 IAA 结果（斯皮尔曼/皮尔逊系数）

📊 VQA 结果（斯皮尔曼/皮尔逊系数）

📄 许可证

本项目采用 MIT 许可证。