Quilt Llava V1.5 7b

🚀 Quilt-LlaVA模型卡片

Quilt-LlaVA是一個開源聊天機器人，通過在組織病理學教育視頻源圖像和GPT生成的多模態指令遵循數據上微調LLaMA/Vicuna進行訓練。它能助力醫學大型多模態模型和聊天機器人的研究。

✨ 主要特性

• 模型類型：Quilt-LLaVA 是基於Transformer架構的自迴歸語言模型，通過在組織病理學教育視頻源圖像和GPT生成的多模態指令遵循數據上微調LLaMA/Vicuna進行訓練。
• 適用領域：專注於醫學、組織病理學領域。
• 數據來源：訓練數據豐富，涵蓋多個數據集。

📚 詳細文檔

模型詳情

• 模型類型：Quilt-LLaVA 是一個開源聊天機器人，通過在組織病理學教育視頻源圖像和GPT生成的多模態指令遵循數據上微調LLaMA/Vicuna進行訓練。它是基於Transformer架構的自迴歸語言模型。
• 引用信息

@article{seyfioglu2023quilt,
  title={Quilt-LLaVA: Visual Instruction Tuning by Extracting Localized Narratives from Open-Source Histopathology Videos},
  author={Seyfioglu, Mehmet Saygin and Ikezogwo, Wisdom O and Ghezloo, Fatemeh and Krishna, Ranjay and Shapiro, Linda},
  journal={arXiv preprint arXiv:2312.04746},
  year={2023}
}

• 模型日期：Quilt-LlaVA - v1.5 - 7B於2023年11月訓練完成。
• 更多信息資源：https://quilt-llava.github.io/

許可證

Llama 2遵循LLAMA 2社區許可證，版權歸Meta Platforms, Inc.所有。

提問與反饋渠道

若您對模型有任何疑問或建議，可前往：https://github.com/quilt-llava/quilt-llava.github.io/issues

預期用途

• 主要用途：Quilt-LlaVA主要用於醫學大型多模態模型和聊天機器人的研究。
• 主要用戶：主要面向AI研究人員。研究人員可藉助該模型更好地理解大型視覺 - 語言生成組織病理學模型的魯棒性、泛化能力以及其他特性、偏差和侷限性。

訓練數據集

• 來自QUILT - 1M（https://quilt1m.github.io/）的723K過濾圖像 - 文本對。
• 來自QUILT - Instruct（https://huggingface.co/datasets/wisdomik/QUILT-LLaVA-Instruct-107K）的107K GPT生成的多模態指令遵循數據。

評估數據集

包含4個學術VQA組織病理學基準測試的集合。

額外的受限訪問信息

• 受限提示：請閱讀並同意以下條款：1. 提供的請求者詳細信息真實有效。2. 該模型不會用於商業/臨床目的，僅用於科學研究。3. 數據不會以任何方式或形式進行重新分發、發佈、複製或進一步傳播，無論是否盈利。4. 在使用此模型/數據的任何出版物中，都將引用相關研究/論文（Quilt - 1M(https://quilt1m.github.io/) 和Quilt - LLaVA (https://quilt-llava.github.io) 論文）。
• 受限字段：需要提供電子郵件、姓名、所屬機構、所屬機構類型（可選：學術界、工業界、其他）、使用目的（可選：研究、教育、其他），並勾選同意上述使用條款。

信息表格