Fashion Object Detection

🚀 トランスフォーマー

このライブラリは、物体検出に特化したモデルを提供します。微調整されたモデルを使用して、ファッション画像の物体検出を行うことができます。

🚀 クイックスタート

このモデルは、microsoft/conditional-detr-resnet-50 の微調整バージョンです。モデルの詳細は、この GitHub リポジトリ fashion-visual-search で確認できます。また、ファッション画像の特徴抽出モデルは yainage90/fashion-image-feature-extractor で見つけることができます。

このモデルは、modanet と fashionpedia の2つのデータセットを組み合わせて学習されました。ラベルは ['bag', 'bottom', 'dress', 'hat', 'shoes', 'outer', 'top'] です。

合計100エポックのうち96エポック目で、mAP 0.7542 の最高スコアが達成されました。したがって、パフォーマンス向上の余地は少ないと考えられます。

💻 使用例

基本的な使用法

from PIL import Image
import torch
from transformers import  AutoImageProcessor, AutoModelForObjectDetection

device = 'cpu'
if torch.cuda.is_available():
    device = torch.device('cuda')
elif torch.backends.mps.is_available():
    device = torch.device('mps')

ckpt = 'yainage90/fashion-object-detection'
image_processor = AutoImageProcessor.from_pretrained(ckpt)
model = AutoModelForObjectDetection.from_pretrained(ckpt).to(device)

image = Image.open('<path/to/image>').convert('RGB')

with torch.no_grad():
    inputs = image_processor(images=[image], return_tensors="pt")
    outputs = model(**inputs.to(device))
    target_sizes = torch.tensor([[image.size[1], image.size[0]]])
    results = image_processor.post_process_object_detection(outputs, threshold=0.4, target_sizes=target_sizes)[0]

    items = []
    for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
        score = score.item()
        label = label.item()
        box = [i.item() for i in box]
        print(f"{model.config.id2label[label]}: {round(score, 3)} at {box}")
        items.append((score, label, box))

📄 ライセンス

このモデルは MIT ライセンスの下で提供されています。

📚 詳細ドキュメント