Marqo Fashionsiglip ST

🚀 Marqo-FashionSigLIP模型卡片

Marqo-FashionSigLIP是一個多模態嵌入模型，與fashion clip相比，它在平均倒數排名（MRR）和召回率方面最多可提高57%。該模型利用了廣義對比學習（GCL），這使得它不僅可以基於文本描述進行訓練，還能結合類別、風格、顏色、材質、關鍵詞和細節信息，從而為時尚產品搜索提供高度相關的結果。此模型是基於ViT - B - 16 - SigLIP（webli）進行微調得到的。

Github頁面：Marqo-FashionCLIP

博客：Marqo博客

🚀 快速開始

本部分將介紹如何使用Marqo-FashionSigLIP模型，包括在Hugging Face、OpenCLIP和Transformers.js中的使用方法。

✨ 主要特性

• 性能提升：與fashion clip相比，在MRR和召回率方面最多可提高57%。
• 多模態訓練：利用廣義對比學習（GCL），可基於多種信息進行訓練，提供更相關的搜索結果。
• 微調模型：基於ViT - B - 16 - SigLIP（webli）微調得到。

💻 使用示例

基礎用法

Hugging Face

可以使用AutoModel加載該模型：

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('Marqo/marqo-fashionSigLIP', trust_remote_code=True)

import torch
from PIL import Image

image = [Image.open("docs/fashion-hippo.png")]
text = ["a hat", "a t-shirt", "shoes"]
processed = processor(text=text, images=image, padding='max_length', return_tensors="pt")

with torch.no_grad():
    image_features = model.get_image_features(processed['pixel_values'], normalize=True)
    text_features = model.get_text_features(processed['input_ids'], normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)
# [0.98379946, 0.01294010, 0.00326044]

OpenCLIP

該模型可以與OpenCLIP無縫結合使用：

import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP')
tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP')

import torch
from PIL import Image

image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0)
text = tokenizer(["a hat", "a t-shirt", "shoes"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image, normalize=True)
    text_features = model.encode_text(text, normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)
# [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]

Transformers.js

你還可以使用Transformers.js庫在JavaScript中運行該模型。首先，從NPM安裝：

npm i @huggingface/transformers

然後，按如下方式計算嵌入：

import { SiglipTextModel, SiglipVisionModel, AutoTokenizer, AutoProcessor, RawImage, softmax, dot } from '@huggingface/transformers';

const model_id = 'Marqo/marqo-fashionSigLIP';

// 加載分詞器和文本模型
const tokenizer = await AutoTokenizer.from_pretrained(model_id);
const text_model = await SiglipTextModel.from_pretrained(model_id);

// 加載處理器和視覺模型
const processor = await AutoProcessor.from_pretrained(model_id);
const vision_model = await SiglipVisionModel.from_pretrained(model_id);

// 運行分詞
const texts = ['a hat', 'a t-shirt', 'shoes'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });

// 計算文本嵌入
const { text_embeds } = await text_model(text_inputs);

// 讀取圖像並運行處理器
const image = await RawImage.read('https://raw.githubusercontent.com/marqo-ai/marqo-FashionCLIP/main/docs/fashion-hippo.png');
const image_inputs = await processor(image);

// 計算視覺嵌入
const { image_embeds } = await vision_model(image_inputs);

// 計算相似度分數
const normalized_text_embeds = text_embeds.normalize().tolist();
const normalized_image_embeds = image_embeds.normalize().tolist()[0];

const text_probs = softmax(normalized_text_embeds.map((text_embed) => 
    100.0 * dot(normalized_image_embeds, text_embed)
));
console.log(text_probs);
// [0.9860219105287394, 0.00777916527489097, 0.006198924196369721]

📚 詳細文檔

基準測試結果

以下報告了該模型在6個公開多模態時尚數據集（Atlas、DeepFashion (In - shop)、DeepFashion (Multimodal)、Fashion200k、KAGL和Polyvore）上的平均評估結果：

文本到圖像（6個數據集的平均值）

類別到產品（5個數據集的平均值）

子類別到產品（4個數據集的平均值）

📄 許可證

本項目採用Apache 2.0許可證。