DAM 3B Video

🚀 何でも記述: 詳細な局所化画像およびビデオのキャプション生成

NVIDIA、UCバークレー、UCSFによる、画像やビデオの特定領域に対して詳細な説明を生成するモデルです。

🚀 クイックスタート

Describe Anything Model 3B Video (DAM-3B-Video) は、画像やビデオ内のユーザー指定領域（点、ボックス、スクライブル、マスクなどの形式）を入力として受け取り、画像やビデオの詳細な局所化説明を生成します。このモデルは研究開発用であり、非商用利用に対応しています。

✨ 主な機能

• DAMは、新しい焦点プロンプトとゲート付きクロスアテンションで強化された局所化ビジョンバックボーンを使用して、全画像/ビデオのコンテキストと細粒度の局所詳細を統合します。

📦 インストール

このREADMEには具体的なインストール手順が記載されていないため、このセクションは省略されます。

💻 使用例

このREADMEには具体的なコード例が記載されていないため、このセクションは省略されます。

📚 ドキュメント

モデルの概要

Describe Anything Model 3B Video (DAM-3B-Video) は、画像やビデオ内のユーザー指定領域を入力として受け取り、詳細な局所化説明を生成します。このモデルは研究開発用であり、非商用利用に対応しています。

ライセンス

NVIDIA Noncommercial License

想定される使用方法

このモデルは、Describe Anythingモデルの理解と使用を示し、促進することを目的としています。主に研究および非商用目的で使用されるべきです。

モデルアーキテクチャ

入力

出力

サポートされるハードウェアマイクロアーキテクチャ互換性

• NVIDIA Ampere
• NVIDIA Hopper
• NVIDIA Lovelace

推奨/サポートされるオペレーティングシステム

• Linux

トレーニングデータセット

Describe Anything Training Datasets

評価データセット

モデルは詳細な局所化キャプション生成ベンチマーク DLC-Bench で評価されています。

推論

PyTorch

倫理的な考慮事項

NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期しない製品の誤用に対処することを確認する必要があります。

セキュリティバグまたはNVIDIA AIに関する懸念事項は、こちら から報告してください。

📄 ライセンス

NVIDIA Noncommercial License

🔧 技術詳細

このREADMEには具体的な技術詳細が記載されていないため、このセクションは省略されます。

📄 引用

もしあなたがこのリポジトリの作品や実装を使用したり、役に立つと感じた場合は、引用を検討してください。

@article{lian2025describe,
  title={Describe Anything: Detailed Localized Image and Video Captioning}, 
  author={Long Lian and Yifan Ding and Yunhao Ge and Sifei Liu and Hanzi Mao and Boyi Li and Marco Pavone and Ming-Yu Liu and Trevor Darrell and Adam Yala and Yin Cui},
  journal={arXiv preprint arXiv:2504.16072},
  year={2025}
}