Medguanaco 65b GPTQ

🚀 Medguanaco 65b

Medguanaco 65b 是一個專門為醫療領域任務微調的大語言模型 LoRA，基於 650 億參數的 Llama 的 Guanaco LORA，旨在提升問答和醫療對話任務的表現。

🚀 快速開始

加載模型步驟

使用 transformers 庫加載模型：

# Some llama or alpaca model 65b
base_model = "nmitchko/medguanaco-65b-GPTQ"
model = LlamaForCausalLM.from_pretrained(
    base_model,    
    load_in_8bit=load_8bit,
    torch_dtype=torch.float16
)

✨ 主要特性

架構

nmitchko/medguanaco-65b-GPTQ 是專門為醫療領域任務進行微調的大語言模型 LoRA。它基於具有 650 億參數的 Llama 的 Guanaco LORA。該模型的主要目標是改善問答和醫療對話任務。它使用 LoRA 進行訓練，並量化為 8 位，以減少內存佔用。

訓練數據

本項目的訓練數據來自多個來源：

1. Anki 閃卡：利用 Anki 閃卡自動生成問題（卡片正面）和答案（卡片背面）。
2. Wikidoc：從 Wikidoc 生成醫療問答對。提取帶有相關標題的段落，並使用 Chat - GPT 3.5 從標題生成問題，相應段落作為答案。此數據集仍在開發中，約 70% 的問答對在事實方面是正確的。
3. StackExchange：從五個類別（學術、生物信息學、生物學、健身和健康）中提取評分最高的問題，形成問答對。
4. ChatDoctor 數據集：使用來自 ChatDoctor 的包含 200,000 個問答對的數據集，可在 https://github.com/Kent0n - Li/ChatDoctor 找到。

🔧 技術細節

侷限性

• 領域侷限性：該模型在醫療領域之外可能無法有效執行任務。
• 知識水平侷限性：訓練數據主要針對醫學生的知識水平，在滿足認證醫師的需求時可能存在侷限性。
• 實際應用未知性：該模型尚未在實際應用中進行測試，其有效性和準確性目前未知。

⚠️ 重要提示

該模型絕不能替代醫生的意見，僅應作為研究工具使用。

📄 許可證

本項目採用 CC 許可證。