P MoD LLaVA NeXT 7B

🚀 p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decay

このプロジェクトは、p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decayの公式モデルチェックポイントです。画像とテキストを入力としてテキストを出力するモデルで、特定のデータセットで事前学習と命令微調整が行われています。

🚀 クイックスタート

このモデルのコードについては、このリポジトリを参照してください。

📚 ドキュメント

モデル概要

このモデルは、LCS-558Kの画像キャプションデータで事前学習され、779K LLaVA - NeXT命令データで命令微調整が行われています。

引用

もしこのモデルがあなたの研究やアプリケーションに役立つと思われる場合は、以下のように論文を引用してください。

@article{zhang2024pmod,
  title={p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decay},
  author={Zhang, Jun and Meng, Desen and Qi, Ji and Huang, Zhenpeng and Wu, Tao and Wang, Limin},
  journal={arXiv preprint arXiv:2412.04449},
  year={2024}
}

📄 ライセンス

Llama 2はLLAMA 2 Community Licenseの下でライセンスされており、著作権はMeta Platforms, Inc.に帰属します。本モデルはApache-2.0ライセンスの下で提供されます。