Llava V1.5 7b M3

🚀 套娃多模態模型 (M3) 模型卡片

套娃多模態模型 (M3) 是一種強大的多模態模型，可讓用戶精確控制視覺粒度，同時還能作為衡量圖像或數據集複雜度的指標。它基於Transformer架構，是通過在視覺對話數據上微調LLaMA/Vicuna訓練得到的開源聊天機器人。

🚀 快速開始

文檔中未提供快速開始相關的具體內容，若你需要使用該模型，可參考下面的詳細信息進行操作。

✨ 主要特性

• 視覺粒度可控：Matryoshka Multimodal Models (M3) 允許用戶明確控制每個樣本的視覺粒度（即每個樣本的視覺標記數量）。
• 複雜度度量：該模型本身可作為圖像或數據集複雜度的度量標準。
• 開源聊天機器人：M3 是通過在視覺對話數據上微調 LLaMA/Vicuna 訓練得到的開源聊天機器人。
• 基於Transformer架構：它是一種自迴歸語言模型，基於Transformer架構構建。

📚 詳細文檔

模型詳情

預期用途

主要預期用途

M3 的主要用途是用於大型多模態模型和聊天機器人的研究。

主要預期用戶

該模型的主要預期用戶是計算機視覺、自然語言處理、機器學習和人工智能領域的研究人員和愛好者。

訓練數據集

• 從 LAION/CC/SBU 中篩選出的 558K 圖像 - 文本對，由 BLIP 進行標註。
• 來自 LLaVA - 1.5 的 665K 圖像級指令數據。

評估數據集

Matryoshka Multimodal Models (M3) 即使在每張圖像使用 1 個或 9 個視覺標記的情況下，也能取得出色的性能。

📄 許可證

Llama 2 遵循 LLAMA 2 社區許可證，版權所有 (c) Meta Platforms, Inc. 保留所有權利。

關於模型問題或評論的反饋地址

https://github.com/mu-cai/matryoshka-mm/issues