Llava 1.6 Gguf

🚀 圖像文本轉文本項目

本項目專注於圖像文本轉文本任務，提供了相關模型的使用說明和注意事項，助力用戶在該領域開展工作。

🚀 快速開始

• 更新信息：PR 已合併，llama.cpp 現在原生支持這些模型。
• 重要提示：驗證使用任意圖像處理簡單問題時，至少使用 1200 個提示處理令牌，這表明新的 PR 正在使用。如果您的提示僅為 576 個 + 幾個令牌，則您正在使用 llava - 1.5 代碼（或投影器），這與 llava - 1.6 不兼容。

✨ 主要特性

• 支持 llama.cpp 原生使用相關模型。
• 提供了不同模型的使用指導。

📚 詳細文檔

注意事項

• 微調差異：請牢記 llama.cpp llava 自述文件中描述的不同微調情況，對於非 Vicuna 模型，使用非默認設置至關重要。
• mmproj 文件：mmproj 文件是 llava - 1.6 附帶的嵌入式 ViT。雖然尚未進行比較，但鑑於團隊之前的版本，這次 ViT 很可能已經過微調。如果是這種情況，使用其他 ViT 可能會導致問題。您需要使用正確模型的 mmproj，但可以混合量化方式。

原始模型

原始模型可參考：https://github.com/haotian - liu/LLaVA

📄 許可證

本項目採用 Apache - 2.0 許可證。