Coreml DepthPro

🚀 DepthPro CoreMLモデル

DepthProは単眼深度推定モデルです。これは、単一の画像上で深度を予測するように訓練されていることを意味します。

DepthPro論文

DepthProオリジナルリポジトリ

✨ 主な機能

DepthProは、単一の画像から深度を推定することができ、複数のモデルバリアントが用意されており、サイズや精度に応じて選択できます。

📦 インストール

ダウンロードの準備

huggingface-cliをインストールします。

brew install huggingface-cli

モデルのダウンロード

特定の.mlpackageフォルダをmodelsディレクトリにダウンロードするには、以下のコマンドを実行します。

huggingface-cli download \
  --local-dir models --local-dir-use-symlinks False \
  KeighBee/coreml-DepthPro \
  --include "DepthProNormalizedInverseDepthPruned10QuantizedLinear.mlpackage/*" "DepthProPruned10QuantizedLinear.mlpackage/*"

すべてのモデルをダウンロードする場合は、--include引数を省略します。

💻 使用例

Swiftアプリへの統合

huggingface/coreml-examplesリポジトリには、DepthProNormalizedInverseDepthPruned10QuantizedLinear.mlpackageや他のモデルのサンプルSwiftコードが含まれています。そこにある指示に従ってデモアプリをビルドすることで、独自のSwiftアプリでモデルを使用する方法を確認できます。

📚 ドキュメント

モデルバリアント

モデルの入出力

DepthPro Normalized Inverse Depthモデル

入力

• image: 1536x1536の3色画像。

出力

• normalizedInverseDepth 1536x1536のモノクロ画像。

DepthProモデル

入力

• image: 1536x1536の3色画像。
• originalWidth: 画像のリサイズ前の元の幅を含む1x1x1x1テンソル。

出力

• depthMeters: メートル単位の深度を含む1x1x1536x1536テンソル。

📄 ライセンス

このモデルはapple-asclライセンスの下で提供されています。