Dfine Medium Obj365

🚀 D-FINE

D-FINEは強力なリアルタイム物体検出モデルで、DETRモデル内のバウンディングボックス回帰タスクを再定義することで、優れた位置決め精度を実現しています。自動運転や監視システムなど、様々な分野で利用できます。

🚀 クイックスタート

モデル概要

D-FINEモデルは、Yansong Peng、Hebei Li、Peixi Wu、Yueyi Zhang、Xiaoyan Sun、およびFeng Wuによって論文D-FINE: Redefine Regression Task in DETRs as Fine-grained Distribution Refinementで提案されました。このモデルは、VladOS95-cyberが@qubvel-hfの支援を受けて貢献したもので、HF transformersライブラリにおけるD-FINEの実装です。

• coco：COCOデータセットで学習されたモデル
• obj365：Object365データセットで学習されたモデル
• obj2coco：まずObject365データセットで学習され、その後COCOデータセットで微調整されたモデル

性能

D-FINEは強力なリアルタイム物体検出器で、DETRモデル内のバウンディングボックス回帰タスクを再定義することで、優れた位置決め精度を実現しています。主に2つの重要なコンポーネント、細粒度分布細化（FDR）とグローバル最適位置決め自己蒸留（GO - LSD）を含んでいます。

学習状況

D-FINEは、COCOとObjects365（Linら [2014]）のtrain2017データセットで学習され、COCO + Objects365のval2017データセットで検証されました。標準的なAP指標（0.50 - 0.95の均一サンプリングIoU閾値で平均化され、ステップサイズは0.05）と、実際のシナリオで一般的に使用されるAPval5000指標を報告しています。

応用シーン

D-FINEは、自動運転、監視システム、ロボット技術、小売分析など、様々なアプリケーションにおけるリアルタイム物体検出に非常に適しています。拡張された柔軟性とデプロイのしやすさにより、エッジデバイスと大規模システムの両方に適用でき、動的な現実環境で高精度かつ高速な性能を保証します。

💻 使用例

基本的な使用法

import torch
import requests

from PIL import Image
from transformers import DFineForObjectDetection, AutoImageProcessor

url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("ustc-community/dfine-medium-obj365")
model = DFineForObjectDetection.from_pretrained("ustc-community/dfine-medium-obj365")

inputs = image_processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)

results = image_processor.post_process_object_detection(outputs, target_sizes=torch.tensor([image.size[::-1]]), threshold=0.3)

for result in results:
    for score, label_id, box in zip(result["scores"], result["labels"], result["boxes"]):
        score, label = score.item(), label_id.item()
        box = [round(i, 2) for i in box.tolist()]
        print(f"{model.config.id2label[label]}: {score:.2f} {box}")

📄 ライセンス

このプロジェクトはApache - 2.0ライセンスを採用しています。