Dfine Small Coco

🚀 D-FINE

D-FINEは、リアルタイム物体検出に特化したモデルです。DETRモデル内のバウンディングボックス回帰タスクを再定義することで、卓越した位置特定精度を達成します。このモデルは、COCOやObject365などのデータセットで訓練されており、自動運転や監視システムなど、様々な分野での応用が期待されます。

🚀 クイックスタート

概要

D-FINEモデルは、Yansong Peng, Hebei Li, Peixi Wu, Yueyi Zhang, Xiaoyan Sun, Feng Wuによる論文 D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinement で提案されました。

このモデルは、@qubvel-hf の支援を受けて VladOS95-cyber によって貢献された、HF transformersによるD-FINEの実装です。

• _coco -> COCOで訓練されたモデル
• _obj365 -> Object365で訓練されたモデル
• _obj2coco -> Object365で訓練され、その後COCOでファインチューニングされたモデル

性能

D-FINEは強力なリアルタイム物体検出器で、DETRモデル内のバウンディングボックス回帰タスクを再定義することで、卓越した位置特定精度を達成します。D-FINEは、細粒度分布改善 (Fine-grained Distribution Refinement: FDR) とグローバル最適位置自己蒸留 (Global Optimal Localization Self-Distillation: GO-LSD) の2つの主要なコンポーネントで構成されています。

使用方法

import torch
import requests

from PIL import Image
from transformers import DFineForObjectDetection, AutoImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-small-coco")
model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-small-coco")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

訓練

D-FINEは、COCO (Lin et al. [2014]) のtrain2017データセットで訓練され、COCOのval2017データセットで検証されています。標準的なAPメトリクス (IoU閾値を0.50 - 0.95の範囲で0.05刻みで均一にサンプリングした平均) と、実際のシナリオで一般的に使用されるAPval5000を報告しています。

応用

D-FINEは、自動運転、監視システム、ロボット工学、小売分析などの様々なアプリケーションにおけるリアルタイム物体検出に最適です。拡張された柔軟性とデプロイメントに適した設計により、エッジデバイスと大規模システムの両方に適しており、動的な実世界環境における高精度と高速性を保証します。

📄 ライセンス

このプロジェクトは、Apache-2.0ライセンスの下で提供されています。