Marqo Fashionsiglip

🚀 Marqo-FashionSigLIPモデルカード

Marqo-FashionSigLIPは、一般化対照学習（GCL）を活用しています。これにより、このモデルはテキスト記述だけでなく、カテゴリ、スタイル、色、素材、キーワード、細部の詳細に基づいて学習することができ、ファッション商品に関する高度に関連性の高い検索結果を提供します。このモデルは、ViT - B - 16 - SigLIP (webli) から微調整されています。

GitHubページ: Marqo-FashionCLIP ブログ: Marqoブログ

🚀 クイックスタート

このモデルは、OpenCLIP とシームレスに連携して使用できます。

💻 使用例

基本的な使用法

import open_clip
model, preprocess_train, preprocess_val = open_clip.create_model_and_transforms('hf-hub:Marqo/marqo-fashionSigLIP')
tokenizer = open_clip.get_tokenizer('hf-hub:Marqo/marqo-fashionSigLIP')

import torch
from PIL import Image

image = preprocess_val(Image.open("docs/fashion-hippo.png")).unsqueeze(0)
text = tokenizer(["a hat", "a t-shirt", "shoes"])

with torch.no_grad(), torch.cuda.amp.autocast():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)
    image_features /= image_features.norm(dim=-1, keepdim=True)
    text_features /= text_features.norm(dim=-1, keepdim=True)

    text_probs = (100.0 * image_features @ text_features.T).softmax(dim=-1)

print("Label probs:", text_probs)

📚 ドキュメント

ベンチマーク結果

6つの公開マルチモーダルファッションデータセット（Atlas、DeepFashion (In - shop)、DeepFashion (Multimodal)、Fashion200k、KAGL、および Polyvore）での平均評価結果を以下に報告します。

テキストから画像（6つのデータセットの平均）

カテゴリから商品（5つのデータセットの平均）

サブカテゴリから商品（4つのデータセットの平均）

📄 ライセンス

このモデルは、Apache 2.0ライセンスの下で提供されています。