Llava Meta Llama 3 8B Instruct

🚀 LLaMA-3-V：藉助Meta-Llama-3-8B-Instruct拓展LLaVA的視覺能力

本項目將Meta-Llama-3-8B-Instruct大語言模型與LLaVA v1.5相結合，充分發揮兩個模型的優勢，為用戶提供更強大的視覺語言理解能力。

🚀 快速開始

你可以通過以下命令下載本項目：

git lfs install
git clone https://huggingface.co/MBZUAI/LLaVA-Meta-Llama-3-8B-Instruct

✨ 主要特性

本項目結合了Meta-Llama-3-8B-Instruct和LLaVA v1.5的優勢，通過特定的訓練策略，實現了先進的視覺語言理解能力。

🔧 技術細節

訓練策略

• 預訓練：僅訓練視覺到語言的投影器，模型的其餘部分保持凍結。
• 微調：對大語言模型（LLM）進行LoRA微調，僅凍結視覺骨幹網絡（CLIP）。
• 注意：倉庫中包含合併後的權重。

關鍵組件

• 基礎大語言模型（LLM）：Meta-Llama-3-8B-Instruct
• 基礎大跨模態模型（LMM）：LLaVA-v1.5

訓練數據

• 預訓練數據集：LCS-558K
• 微調數據集：LLaVA-Instruct-665K

🤝 貢獻

歡迎大家為本項目貢獻代碼！如果你覺得這個模型有用，請給我們的倉庫 LLaVA++ 點個🌟。