🚀 4M: 大規模マルチモーダルマスクモデリング
任意のモダリティ間で動作するマルチモーダル基礎モデルを学習するためのフレームワーク。
拡張性があり、オープンソースで、数十のモダリティとタスクに対応。
ウェブサイト
| GitHub
| BibTeX
以下の論文の公式実装と事前学習済みモデルです:
4M: Massively Multimodal Masked Modeling、NeurIPS 2023 (Spotlight)
David Mizrahi*、Roman Bachmann*、Oğuzhan Fatih Kar、Teresa Yeo、Mingfei Gao、Afshin Dehghan、Amir Zamir
4M-21: An Any-to-Any Vision Model for Tens of Tasks and Modalities、arXiv 2024
Roman Bachmann*、Oğuzhan Fatih Kar*、David Mizrahi*、Ali Garjani、Mingfei Gao、David Griffiths、Jiaming Hu、Afshin Dehghan、Amir Zamir
4Mは、トークン化とマスキングを用いて多様なモダリティに拡張可能な「任意のモダリティ間で動作する」基礎モデルを学習するためのフレームワークです。
4Mを用いて学習されたモデルは、幅広いビジョンタスクを実行でき、未知のタスクやモダリティにも良好に転移し、柔軟で制御可能なマルチモーダル生成モデルとなります。
私たちは、「4M: Massively Multimodal Masked Modeling」(ここでは4M - 7と表記)および「4M - 21: An Any - to - Any Vision Model for Tens of Tasks and Modalities」(ここでは4M - 21と表記)のコードとモデルを公開しています。
🚀 クイックスタート
4Mは、トークン化とマスキングを使用して、多様なモダリティに対応する「任意のモダリティ間で動作する」基礎モデルを学習するためのフレームワークです。
✨ 主な機能
- 任意のモダリティ間で動作するマルチモーダル基礎モデルを学習できます。
- 拡張性があり、数十のモダリティとタスクに対応します。
- 学習されたモデルは、幅広いビジョンタスクを実行でき、未知のタスクやモダリティにも良好に転移します。
📦 インストール
インストール手順については、こちらを参照してください。
💻 使用例
基本的な使用法
このモデルは、Hugging Face Hubから以下のようにロードできます。
from fourm.models.fm import FM
fm = FM.from_pretrained('EPFL-VILAB/4M-7_B_CC12M')
詳細な使用方法については、こちらを参照してください。他の4Mモデルとトークナイザーのチェックポイントについては、こちらを参照してください。
📚 ドキュメント
このリポジトリに関する詳細な情報は、各論文のリンク先を参照してください。
📄 ライセンス
このリポジトリ内のモデルの重みは、LICENSEファイルに記載されているサンプルコードライセンスの下で公開されています。
📄 引用
このリポジトリが役に立った場合は、以下のように引用してください。
@inproceedings{4m,
title={{4M}: Massively Multimodal Masked Modeling},
author={David Mizrahi and Roman Bachmann and O{\u{g}}uzhan Fatih Kar and Teresa Yeo and Mingfei Gao and Afshin Dehghan and Amir Zamir},
booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
year={2023},
}
@article{4m21,
title={{4M-21}: An Any-to-Any Vision Model for Tens of Tasks and Modalities},
author={Roman Bachmann and O{\u{g}}uzhan Fatih Kar and David Mizrahi and Ali Garjani and Mingfei Gao and David Griffiths and Jiaming Hu and Afshin Dehghan and Amir Zamir},
journal={arXiv 2024},
year={2024},
}