Marqo Fashionclip

🚀 Marqo-FashionCLIPモデルカード

Marqo-FashionCLIPとMarqo-FashionSigLIPは、これまでの最先端のファッションCLIPモデルを上回る性能を発揮します（下記の結果を参照）。Marqo-FashionCLIPはGeneralised Contrastive Learning (GCL) を活用しており、これによりモデルはテキスト記述だけでなく、カテゴリ、スタイル、色、素材、キーワード、詳細な情報を用いて学習することができ、ファッション商品に関する高度に関連性の高い検索結果を提供します。このモデルはViT-B-16 (laion2b_s34b_b88k) からファインチューニングされています。

GitHubページ: Marqo-FashionCLIP

ブログ: Marqoブログ

🚀 クイックスタート

Marqo-FashionCLIPは、ファッション商品の検索に高度に関連性の高い結果を提供するために開発されたモデルです。以下に、いくつかの使用方法を紹介します。

✨ 主な機能

• Generalised Contrastive Learning (GCL) を活用し、テキスト記述だけでなく様々な情報を用いて学習することができます。
• ファッション商品に関する高度に関連性の高い検索結果を提供します。
• Hugging Face、OpenCLIP、Transformers.jsなどのライブラリと互換性があります。

💻 使用例

基本的な使用法

Hugging Face

このモデルはAutoModelを使ってロードすることができます。

from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('Marqo/marqo-fashionCLIP', trust_remote_code=True)
processor = AutoProcessor.from_pretrained('Marqo/marqo-fashionCLIP', trust_remote_code=True)

import torch
from PIL import Image

image = [Image.open("docs/fashion-hippo.png")]
text = ["a hat", "a t-shirt", "shoes"]
processed = processor(text=text, images=image, padding='max_length', return_tensors="pt")

with torch.no_grad():
    image_features = model.get_image_features(processed['pixel_values'], normalize=True)
    text_features = model.get_text_features(processed['input_ids'], normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)
# [0.99990773, 0.00006382, 0.00002847]

OpenCLIP

このモデルは OpenCLIP とシームレスに連携して使用することができます。

import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionCLIP')
tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionCLIP')

import torch
from PIL import Image

image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0)
text = tokenizer(["a hat", "a t-shirt", "shoes"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image, normalize=True)
    text_features = model.encode_text(text, normalize=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)
# [0.9998498302475922, 0.000119267522939106, 0.000030902229468640687]

Transformers.js

このモデルは Transformers.js ライブラリを使ってJavaScriptで実行することもできます。

まず、NPM からインストールします。

npm i @huggingface/transformers

次に、以下のように埋め込みを計算します。

import { CLIPTextModelWithProjection, CLIPVisionModelWithProjection, AutoTokenizer, AutoProcessor, RawImage, softmax, dot } from '@huggingface/transformers';

const model_id = 'Marqo/marqo-fashionCLIP';

// Load tokenizer and text model
const tokenizer = await AutoTokenizer.from_pretrained(model_id);
const text_model = await CLIPTextModelWithProjection.from_pretrained(model_id);

// Load processor and vision model
const processor = await AutoProcessor.from_pretrained(model_id);
const vision_model = await CLIPVisionModelWithProjection.from_pretrained(model_id);

// Run tokenization
const texts = ['a hat', 'a t-shirt', 'shoes'];
const text_inputs = tokenizer(texts, { padding: 'max_length', truncation: true });

// Compute text embeddings
const { text_embeds } = await text_model(text_inputs);

// Read image and run processor
const image = await RawImage.read('https://raw.githubusercontent.com/marqo-ai/marqo-FashionCLIP/main/docs/fashion-hippo.png');
const image_inputs = await processor(image);

// Compute vision embeddings
const { image_embeds } = await vision_model(image_inputs);

// Compute similarity scores
const normalized_text_embeds = text_embeds.normalize().tolist();
const normalized_image_embeds = image_embeds.normalize().tolist()[0];

const text_probs = softmax(normalized_text_embeds.map((text_embed) => 
    100.0 * dot(normalized_image_embeds, text_embed)
));
console.log(text_probs);
// [0.9998498302475922, 0.000119267522939106, 0.000030902229468640687]

📚 ドキュメント

ベンチマーク結果

6つの公開されているマルチモーダルファッションデータセット（Atlas、DeepFashion (In-shop)、DeepFashion (Multimodal)、Fashion200k、KAGL、Polyvore）に対する平均評価結果を以下に報告します。

テキストから画像（6つのデータセットの平均）

カテゴリから商品（5つのデータセットの平均）

サブカテゴリから商品（4つのデータセットの平均）

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。