Marqo Fashionsiglip
Marqo-FashionSigLIP 是一种多模态嵌入模型,专为时尚产品搜索优化,相比 FashionCLIP 在 MRR 和召回率上提升了57%。
下载量 493.25k
发布时间 : 8/9/2024
模型简介
该模型利用广义对比学习进行训练,支持基于文本描述、类别、风格、颜色、材质等多种特征的时尚产品检索,提供高度相关的搜索结果。
模型特点
广义对比学习
利用广义对比学习(GCL)进行训练,支持多模态检索和排序,提升搜索相关性。
多模态嵌入
能够同时处理图像和文本输入,生成统一的嵌入表示。
时尚领域优化
专门针对时尚产品进行优化,在多个时尚数据集上表现优异。
模型能力
零样本图像分类
多模态检索
时尚产品搜索
图像-文本匹配
使用案例
电子商务
时尚产品搜索
根据文本描述或图像搜索相关时尚产品。
在多个时尚数据集上平均召回率提升57%
产品分类
自动对时尚产品进行分类。
在类别到产品任务中平均精确率达0.737
🚀 Marqo-FashionSigLIP模型卡片
Marqo-FashionSigLIP是一个多模态嵌入模型,与fashion clip相比,它在平均倒数排名(MRR)和召回率方面最高可提升57%。该模型利用广义对比学习(GCL),不仅可以基于文本描述进行训练,还能结合类别、风格、颜色、材质、关键词和细节信息,为时尚产品搜索提供高度相关的结果。此模型是基于ViT - B - 16 - SigLIP(webli)进行微调得到的。
GitHub页面:Marqo - FashionCLIP
博客:Marqo博客
🚀 快速开始
💻 使用示例
基础用法
以下是在Hugging Face上使用该模型的示例代码:
from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)
import torch
from PIL import Image
image = [Image.open("docs/fashion-hippo.png")]
text = ["a hat", "a t-shirt", "shoes"]
processed = processor(text=text, images=image, padding='max_length', return_tensors="pt")
with torch.no_grad():
image_features = model.get_image_features(processed['pixel_values'], normalize=True)
text_features = model.get_text_features(processed['input_ids'], normalize=True)
text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)
print("Label probs:", text_probs)
# [0.98379946, 0.01294010, 0.00326044]
高级用法
可以使用OpenCLIP库来使用该模型:
import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP')
tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP')
import torch
from PIL import Image
image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0)
text = tokenizer(["a hat", "a t-shirt", "shoes"])
with torch.no_grad(), torch.cuda.amp.autocast():
image_features = model.encode_image(image, normalize=True)
text_features = model.encode_text(text, normalize=True)
text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)
print("Label probs:", text_probs)
# [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]
还可以使用Transformers.js库在JavaScript中运行该模型:
import { SiglipTextModel, SiglipVisionModel, AutoTokenizer, AutoProcessor, RawImage, softmax, dot } from '@huggingface/transformers';
const model_id = 'Marqo/marqo-fashionSigLIP';
// Load tokenizer and text model
const tokenizer = await AutoTokenizer.from_pretrained(model_id);
const text_model = await SiglipTextModel.from_pretrained(model_id);
// Load processor and vision model
const processor = await AutoProcessor.from_pretrained(model_id);
const vision_model = await SiglipVisionModel.from_pretrained(model_id);
// Run tokenization
const texts = ['a hat', 'a t-shirt', 'shoes'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });
// Compute text embeddings
const { text_embeds } = await text_model(text_inputs);
// Read image and run processor
const image = await RawImage.read('https://raw.githubusercontent.com/marqo-ai/marqo-FashionCLIP/main/docs/fashion-hippo.png');
const image_inputs = await processor(image);
// Compute vision embeddings
const { image_embeds } = await vision_model(image_inputs);
// Compute similarity scores
const normalized_text_embeds = text_embeds.normalize().tolist();
const normalized_image_embeds = image_embeds.normalize().tolist()[0];
const text_probs = softmax(normalized_text_embeds.map((text_embed) =>
100.0 * dot(normalized_image_embeds, text_embed)
));
console.log(text_probs);
// [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]
📚 详细文档
基准测试结果
以下是该模型在6个公开多模态时尚数据集(Atlas、DeepFashion (In - shop)、DeepFashion (Multimodal)、Fashion200k、KAGL和Polyvore)上的平均评估结果:
文本到图像(6个数据集的平均值)
模型 | 平均召回率 | 召回率@1 | 召回率@10 | 平均倒数排名(MRR) |
---|---|---|---|---|
Marqo - FashionSigLIP | 0.231 | 0.121 | 0.340 | 0.239 |
FashionCLIP2.0 | 0.163 | 0.077 | 0.249 | 0.165 |
OpenFashionCLIP | 0.132 | 0.060 | 0.204 | 0.135 |
ViT - B - 16 - laion2b_s34b_b88k | 0.174 | 0.088 | 0.261 | 0.180 |
ViT - B - 16 - SigLIP - webli | 0.212 | 0.111 | 0.314 | 0.214 |
类别到产品(5个数据集的平均值)
模型 | 平均准确率 | 准确率@1 | 准确率@10 | 平均倒数排名(MRR) |
---|---|---|---|---|
Marqo - FashionSigLIP | 0.737 | 0.758 | 0.716 | 0.812 |
FashionCLIP2.0 | 0.684 | 0.681 | 0.686 | 0.741 |
OpenFashionCLIP | 0.646 | 0.653 | 0.639 | 0.720 |
ViT - B - 16 - laion2b_s34b_b88k | 0.662 | 0.673 | 0.652 | 0.743 |
ViT - B - 16 - SigLIP - webli | 0.688 | 0.690 | 0.685 | 0.751 |
子类别到产品(4个数据集的平均值)
模型 | 平均准确率 | 准确率@1 | 准确率@10 | 平均倒数排名(MRR) |
---|---|---|---|---|
Marqo - FashionSigLIP | 0.725 | 0.767 | 0.683 | 0.811 |
FashionCLIP2.0 | 0.657 | 0.676 | 0.638 | 0.733 |
OpenFashionCLIP | 0.598 | 0.619 | 0.578 | 0.689 |
ViT - B - 16 - laion2b_s34b_b88k | 0.638 | 0.651 | 0.624 | 0.712 |
ViT - B - 16 - SigLIP - webli | 0.643 | 0.643 | 0.643 | 0.726 |
📄 许可证
本项目采用Apache 2.0许可证。
Clip Vit Large Patch14 336
基于Vision Transformer架构的大规模视觉语言预训练模型,支持图像与文本的跨模态理解
文本生成图像
Transformers

C
openai
5.9M
241
Fashion Clip
MIT
FashionCLIP是基于CLIP开发的视觉语言模型,专门针对时尚领域进行微调,能够生成通用产品表征。
文本生成图像
Transformers 英语

F
patrickjohncyh
3.8M
222
Gemma 3 1b It
Gemma 3是Google推出的轻量级先进开放模型系列,基于与Gemini模型相同的研究和技术构建。该模型是多模态模型,能够处理文本和图像输入并生成文本输出。
文本生成图像
Transformers

G
google
2.1M
347
Blip Vqa Base
Bsd-3-clause
BLIP是一个统一的视觉语言预训练框架,擅长视觉问答任务,通过语言-图像联合训练实现多模态理解与生成能力
文本生成图像
Transformers

B
Salesforce
1.9M
154
CLIP ViT H 14 Laion2b S32b B79k
MIT
基于OpenCLIP框架在LAION-2B英文数据集上训练的视觉-语言模型,支持零样本图像分类和跨模态检索任务
文本生成图像
Safetensors
C
laion
1.8M
368
CLIP ViT B 32 Laion2b S34b B79k
MIT
基于OpenCLIP框架在LAION-2B英语子集上训练的视觉-语言模型,支持零样本图像分类和跨模态检索
文本生成图像
Safetensors
C
laion
1.1M
112
Pickscore V1
PickScore v1 是一个针对文本生成图像的评分函数,可用于预测人类偏好、评估模型性能和图像排序等任务。
文本生成图像
Transformers

P
yuvalkirstain
1.1M
44
Owlv2 Base Patch16 Ensemble
Apache-2.0
OWLv2是一种零样本文本条件目标检测模型,可通过文本查询在图像中定位对象。
文本生成图像
Transformers

O
google
932.80k
99
Llama 3.2 11B Vision Instruct
Llama 3.2 是 Meta 发布的多语言多模态大型语言模型,支持图像文本到文本的转换任务,具备强大的跨模态理解能力。
文本生成图像
Transformers 支持多种语言

L
meta-llama
784.19k
1,424
Owlvit Base Patch32
Apache-2.0
OWL-ViT是一个零样本文本条件目标检测模型,可以通过文本查询搜索图像中的对象,无需特定类别的训练数据。
文本生成图像
Transformers

O
google
764.95k
129
精选推荐AI模型
Llama 3 Typhoon V1.5x 8b Instruct
专为泰语设计的80亿参数指令模型,性能媲美GPT-3.5-turbo,优化了应用场景、检索增强生成、受限生成和推理任务
大型语言模型
Transformers 支持多种语言

L
scb10x
3,269
16
Cadet Tiny
Openrail
Cadet-Tiny是一个基于SODA数据集训练的超小型对话模型,专为边缘设备推理设计,体积仅为Cosmo-3B模型的2%左右。
对话系统
Transformers 英语

C
ToddGoldfarb
2,691
6
Roberta Base Chinese Extractive Qa
基于RoBERTa架构的中文抽取式问答模型,适用于从给定文本中提取答案的任务。
问答系统 中文
R
uer
2,694
98