Depthpro ONNX

🚀 DepthProの深度推定モデル

このプロジェクトは、Transformers.jsと互換性のあるONNXウェイトを持つapple/DepthProモデルを提供します。深度推定タスクに最適です。

🚀 クイックスタート

このモデルを使用する前に、必要なライブラリをインストールする必要があります。

📦 インストール

NPMからTransformers.js JavaScriptライブラリをインストールできます。以下のコマンドを使用してください。

npm i @huggingface/transformers

💻 使用例

基本的な使用法

import { AutoProcessor, AutoModelForDepthEstimation, RawImage } from "@huggingface/transformers";

// モデルとプロセッサーをロード
const depth = await AutoModelForDepthEstimation.from_pretrained("onnx-community/DepthPro-ONNX", { dtype: "q4" });
const processor = await AutoProcessor.from_pretrained("onnx-community/DepthPro-ONNX");

// 画像を読み込み、準備する
const image = await RawImage.read("https://raw.githubusercontent.com/huggingface/transformers.js-examples/main/depth-pro-node/assets/image.jpg");
const inputs = await processor(image);

// 深度推定モデルを実行
const { predicted_depth, focallength_px } = await depth(inputs);

// 深度マップを [0, 1] に正規化する
const depth_map_data = predicted_depth.data;
let minDepth = Infinity;
let maxDepth = -Infinity;
for (let i = 0; i < depth_map_data.length; ++i) {
  minDepth = Math.min(minDepth, depth_map_data[i]);
  maxDepth = Math.max(maxDepth, depth_map_data[i]);
}
const depth_tensor = predicted_depth
  .sub_(minDepth)
  .div_(-(maxDepth - minDepth)) // 可視化のために反転する
  .add_(1)
  .clamp_(0, 1)
  .mul_(255)
  .round_()
  .to("uint8");

// 深度マップを保存する
const depth_image = RawImage.fromTensor(depth_tensor);
depth_image.save("depth.png");

以下の画像は、入力画像とモデルによって生成された対応する深度マップを示しています。

入力画像	深度マップ

⚠️ 重要提示

ONNXウェイト用に別のリポジトリを用意するのは、WebMLが普及するまでの一時的な解決策です。モデルをWeb対応にする場合は、🤗 Optimumを使用してONNXに変換し、このリポジトリのように構成することをお勧めします（ONNXウェイトはonnxというサブフォルダに配置します）。

📄 ライセンス

apple-ascl