Volcano 7b

🚀 Volcano模型 - 圖像到文本轉換

Volcano是一個用於圖像到文本轉換的模型，可應用於圖像描述、視覺問答等任務。它採用單一的大型多模態模型（LMM），通過迭代的批評 - 修訂 - 決策循環生成初始響應、反饋、修訂內容以及決定是否接受修訂，在多模態任務中表現出色。

🚀 快速開始

參考鏈接

• 代碼倉庫: https://github.com/kaistAI/Volcano
• 論文鏈接: https://arxiv.org/abs/2311.07362

✨ 主要特性

Volcano使用單一的大型多模態模型（LMM）生成初始響應、反饋和修訂內容，以及決定是否接受修訂。它遵循迭代的批評 - 修訂 - 決策循環的順序流程。

📚 詳細文檔

模型詳情

訓練數據集

• 274K條多模態反饋和修訂數據
• 從LAION/CC/SBU中過濾得到的558K對圖像 - 文本對，由BLIP添加描述。
• 158K條由GPT生成的多模態指令遵循數據。
• 450K條面向學術任務的視覺問答（VQA）混合數據。
• 40K條ShareGPT數據

你可以在[這裡](https://huggingface.co/datasets/kaist - ai/volcano - train)找到用於訓練Volcano的數據集，其中包含了上述所有數據集。

評估數據集

由三個多模態幻覺基準測試（[MMHal - Bench](https://huggingface.co/datasets/Shengcao1006/MMHal - Bench)、Pope、[GAVIE](https://github.com/FuxiaoLiu/LRV - Instruction)）和兩個多模態理解基準測試（[MM - Vet](https://github.com/yuweihao/MM - Vet)、[MMBench](https://github.com/open - compass/MMBench)）組成的集合。