Llava Roco 8bit

🚀 BabyDoctor模型卡片

本模型卡片詳細介紹了BabyDoctor模型，這是一個多模態大語言模型（MLLM），它融合了CLiP和LLaMA 2的能力，既能理解和生成文本，也能理解圖像。該模型經過微調，能夠用醫學術語解讀X光、超聲、MRI和CT等放射學圖像。

🚀 快速開始

若要復現使用BabyDoctor模型的結果，並在您自己的數據上運行該模型，相關說明可在BabyDoctor倉庫中找到。

✨ 主要特性

• 多模態融合：結合CLiP和LLaMA 2的能力，實現文本和圖像的理解與生成。
• 醫學領域專業化：經過微調，能夠準確解讀放射學圖像。
• 先進的訓練技術：採用監督微調（SFT）、低秩自適應（LoRA）和量化低秩自適應（QLoRA）等技術。

📚 詳細文檔

模型詳情

模型描述

BabyDoctor採用自迴歸語言模型，將優化的Transformer架構與視覺編碼器相結合。微調版本利用監督微調（SFT）、低秩自適應（LoRA）和量化低秩自適應（QLoRA），以提高在醫學領域的專業化程度。

模型來源

• 倉庫：BabyDoctor倉庫
• 演示：演示視頻

用途

直接用途

BabyDoctor旨在用於英語研究。它主要設計用於醫療健康領域的類助手聊天，提供放射學圖像的解讀和分析。

下游用途

BabyDoctor的潛在應用可能包括但不限於健康和醫學領域的研究、學術項目以及非生產性應用。

超出適用範圍的使用

BabyDoctor不得用於任何違反適用法律法規（包括貿易合規法律）的方式，不得用於英語以外的語言，也不得用於《BabyDoctor可接受使用政策和許可協議》禁止的任何其他方式。該模型尚未準備好用於面向生產用戶的用例，需要進一步調整。

偏差、風險和侷限性

雖然BabyDoctor旨在提供有用的醫療健康相關建議，但不應將其視為專業醫療建議的替代品。它可能無法準確涵蓋醫學或健康的所有領域。該模型無法訪問個人健康記錄或特定患者信息，其建議不應替代與醫療專業人員的諮詢。

訓練詳情

訓練數據

BabyDoctor使用LLaVA - Instruct - 80K和Roco - Instruct - 65K數據集進行訓練，這兩個數據集分別是遵循指令和與醫學相關的數據集。預訓練和微調數據集中均未包含Meta用戶數據。 預訓練數據的截止日期為2022年9月，但一些微調數據較新，截至2023年7月。

訓練過程

• 預處理：使用LLaMA 2 - 7B Chat和CLiP在2T標記和1 - 1億張圖像上進行預訓練。然後，LLaVA將CLiP投影到LLaMa 2上，接著使用合成的GPT - 4遵循指令的數據進行訓練。最後，對BabyDoctor進行微調以解讀放射學圖像。
• 訓練超參數：
  • 基礎大語言模型：LLaMA - 2 - 7B - Chat
  • 基礎視覺編碼器：CLiP - L
  • 預訓練數據：LCS - 558K
  • 預訓練計劃：1e
  • 微調數據1：LLaVA - Instruct - 80K
  • 微調計劃1：低秩自適應（LoRA）1個週期
  • 微調數據2：roco - instruct - 65k
  • 微調計劃：量化低秩自適應（QLoRA）1個週期，4位
• 速度、大小、時間：使用Lambda Labs的1xA10雲GPU進行訓練，耗時8小時。

評估

測試數據、因素和指標

鑑於其解讀放射學圖像的特定用途，BabyDoctor尚未像LLaMA 2模型那樣在廣泛的任務上進行評估。

建議

用戶（直接用戶和下游用戶）應瞭解該模型的侷限性和預期用途。不應將BabyDoctor生成的信息視為專業醫療建議的替代品。

引用

BibTeX：

@misc{photomz2023,
  author = {Markus Zhang, Vir Chau},
  title = {BabyDoctor},
  year = {2023},
  howpublished = {\url{https://github.com/photomz/BabyDoctor}},
  note = {GitHub}
}

APA：

@misc{photomz2023,
  author = {{Zhang, M.} and {Chau, V.}},
  title = {BabyDoctor},
  year = {2023},
  howpublished = {\url{https://github.com/photomz/BabyDoctor}},
  note = {GitHub}
}

若有任何問題，請通過提交GitHub問題與我們聯繫！

📄 許可證

本模型許可證為AFL - 3.0，僅限學術研究使用，且需遵循LLaMa 2、CLiP、GPT - 4和LLaVA的許可證。