Dpt Swinv2 Base 384

🚀 DPT 3.1 (Swinv2 主幹網絡)

DPT（密集預測變換器）模型在140萬張圖像上進行訓練，用於單目深度估計。該模型由Ranftl等人在2021年的論文Vision Transformers for Dense Prediction中提出，並首次在此倉庫發佈。

聲明：發佈DPT的團隊並未為此模型撰寫模型卡片，本模型卡片由Hugging Face團隊撰寫。

🚀 快速開始

本部分將引導你快速瞭解如何使用DPT 3.1 (Swinv2 主幹網絡) 模型進行單目深度估計。

✨ 主要特性

• 大規模訓練：在140萬張圖像上進行訓練，為單目深度估計提供了強大的能力。
• 先進架構：採用 Swinv2 模型作為主幹網絡，並添加了頸部和頭部結構，用於單目深度估計。

📚 詳細文檔

模型描述

此DPT模型使用 Swinv2 模型作為主幹網絡，並在其基礎上添加了頸部和頭部結構，用於單目深度估計。

如何使用

以下是如何使用此模型對圖像進行零樣本深度估計的示例：

基礎用法

from transformers import DPTImageProcessor, DPTForDepthEstimation
import torch
import numpy as np
from PIL import Image
import requests

url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = DPTImageProcessor.from_pretrained("Intel/dpt-swinv2-base-384")
model = DPTForDepthEstimation.from_pretrained("Intel/dpt-swinv2-base-384")

# prepare image for the model
inputs = processor(images=image, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    predicted_depth = outputs.predicted_depth

# interpolate to original size
prediction = torch.nn.functional.interpolate(
    predicted_depth.unsqueeze(1),
    size=image.size[::-1],
    mode="bicubic",
    align_corners=False,
)

# visualize the prediction
output = prediction.squeeze().cpu().numpy()
formatted = (output * 255 / np.max(output)).astype("uint8")
depth = Image.fromarray(formatted)

高級用法

你也可以使用管道API：

from transformers import pipeline

pipe = pipeline(task="depth-estimation", model="Intel/dpt-swinv2-base-384")
result = pipe("http://images.cocodataset.org/val2017/000000039769.jpg")
result["depth"]

📄 許可證

本項目採用MIT許可證。