Llava Phi 3 Mini 4k Instruct

🚀 Phi-3-V: Phi-3を用いたLLaVAの視覚機能拡張

このプロジェクトは、Phi-3-mini-3.8B LLMを用いて訓練されたLLaVA v1.5を特徴としています。両モデルの強みを生かし、高度な視覚言語理解を実現することを目指しています。

🚀 クイックスタート

このリポジトリのモデルをダウンロードするには、以下のコマンドを実行します。

git lfs install
git clone https://huggingface.co/MBZUAI/LLaVA-Phi-3-mini-4k-instruct

✨ 主な機能

このリポジトリでは、Phi-3-mini-3.8B LLMを用いてLLaVA v1.5を訓練しています。これにより、高度な視覚言語理解機能を提供します。

🔧 技術詳細

訓練戦略

• 事前学習：Vision-to-Language projectorのみを訓練し、モデルの残りの部分は固定します。
• 微調整：LLMをLoRAで微調整し、視覚バックボーン（CLIP）のみを固定します。
• 注意：このリポジトリにはマージされた重みが含まれています。

主要コンポーネント

• ベースの大規模言語モデル（LLM）：Phi-3-mini-4k-instruct
• ベースの大規模マルチモーダルモデル（LMM）：LLaVA-v1.5

訓練データ

• 事前学習データセット：LCS-558K
• 微調整データセット：LLaVA-Instruct-665K

📄 ライセンス

このプロジェクトはMITライセンスの下で利用可能です。

コントリビューション

コントリビューションは大歓迎です！このモデルが役に立った場合は、リポジトリ LLaVA++ をスターしてください。