DAM 3B

🚀 画像と動画の詳細な局所的キャプション生成モデル「Describe Anything」

Describe Anythingは、画像や動画内の指定された領域に対して詳細なキャプションを生成するモデルです。NVIDIAやUC Berkeley、UCSFなどの機関によって開発され、研究や非商用目的での利用に適しています。

🚀 クイックスタート

このモデルは、画像内の指定された領域（点、ボックス、スクライブル、マスクなどの形式）を入力として受け取り、詳細な局所的な画像の説明を生成します。

✨ 主な機能

• ユーザー指定の画像内の領域に対して詳細な説明を生成
• 新しい焦点プロンプトとゲート付きクロスアテンションで強化された局所的なビジョンバックボーンを使用して、全画像コンテキストと細粒度の局所的な詳細を統合

📦 インストール

インストールに関する具体的な手順はREADMEに記載されていません。

💻 使用例

使用例に関する具体的なコードはREADMEに記載されていません。

📚 ドキュメント

モデルの説明

Describe Anything Model 3B (DAM-3B) は、画像内のユーザー指定の領域（点、ボックス、スクライブル、マスクなどの形式）を入力として受け取り、詳細な局所的な画像の説明を生成します。DAMは、新しい焦点プロンプトとゲート付きクロスアテンションで強化された局所的なビジョンバックボーンを使用して、全画像コンテキストと細粒度の局所的な詳細を統合します。このモデルは研究開発用であり、非商用利用に対応しています。

ライセンス

NVIDIA Noncommercial License

意図された使用法

このモデルは、Describe Anythingモデルの理解と使用を示し、促進することを目的としています。主に研究および非商用目的で使用されるべきです。

モデルアーキテクチャ

このモデルは VILA-1.5 をベースに開発されました。
このモデルは30億のモデルパラメータを持っています。

入力

出力

サポートされるハードウェアマイクロアーキテクチャ互換性:

• NVIDIA Ampere
• NVIDIA Hopper
• NVIDIA Lovelace

推奨/サポートされるオペレーティングシステム:

• Linux

学習データセット

Describe Anything Training Datasets

評価データセット

モデルは詳細な局所的なキャプショニングベンチマークで評価されています: DLC-Bench

推論

PyTorch

倫理的な考慮事項

NVIDIAは、信頼できるAIは共同の責任であると考えており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。サービス利用規約に従ってダウンロードまたは使用する場合、開発者は内部のモデルチームと協力して、このモデルが関連する業界やユースケースの要件を満たし、予期せぬ製品の誤用に対処することを確認する必要があります。

セキュリティの脆弱性やNVIDIA AIに関する懸念事項は、こちら で報告してください。

📄 ライセンス

NVIDIA Noncommercial License

引用

もしあなたがこのリポジトリの成果や実装を使用したり、役に立ったと感じた場合は、引用を検討してください。

@article{lian2025describe,
  title={Describe Anything: Detailed Localized Image and Video Captioning}, 
  author={Long Lian and Yifan Ding and Yunhao Ge and Sifei Liu and Hanzi Mao and Boyi Li and Marco Pavone and Ming-Yu Liu and Trevor Darrell and Adam Yala and Yin Cui},
  journal={arXiv preprint arXiv:2504.16072},
  year={2025}
}