Dpt Swinv2 Base 384

🚀 DPT 3.1 (Swinv2 backbone)

DPT（Dense Prediction Transformer）は、単眼深度推定のために140万枚の画像で学習されたモデルです。このモデルは、Ranftlら（2021）による論文 Vision Transformers for Dense Prediction で導入され、最初は このリポジトリ で公開されました。

免責事項：DPTを公開したチームはこのモデルのモデルカードを作成していないため、このモデルカードはHugging Faceチームによって作成されています。

✨ 主な機能

モデルの説明

このDPTモデルは、Swinv2 モデルをバックボーンとして使用し、単眼深度推定のためにネックとヘッドを追加しています。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

基本的な使用法

以下は、画像に対してゼロショット深度推定を行うためのこのモデルの使用方法です。

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-swinv2-base-384")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-swinv2-base-384")

# prepare image for the model
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

高度な使用法

また、パイプラインAPIを使用することもできます。

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-swinv2-base-384")
result = pipe("http://images.cocodataset.org/val2017/000000039769.jpg")
result["depth"]

📚 ドキュメント

このREADMEには詳細なドキュメントが記載されていないため、このセクションは省略されます。

🔧 技術詳細

このREADMEには技術的な詳細が記載されていないため、このセクションは省略されます。

📄 ライセンス

このモデルはMITライセンスの下で提供されています。