Medalpaca 13b

🚀 MedAlpaca 13b

MedAlpaca 13b 是專門針對醫療領域任務進行微調的大型語言模型，基於 LLaMA 架構，擁有 130 億參數，能有效提升醫療問答和對話任務的表現。

🚀 快速開始

目錄

• 模型描述
  • 架構
  • 訓練數據
• 模型使用
• 侷限性

✨ 主要特性

架構

medalpaca-13b 是專門為醫療領域任務進行微調的大型語言模型。它基於 LLaMA（Large Language Model Meta AI）構建，擁有 130 億參數。該模型的主要目標是提升問答和醫療對話任務的效果。

訓練數據

本項目的訓練數據來源於多個渠道：

1. Anki 閃卡：利用 Anki 閃卡自動生成問題（卡片正面內容）和答案（卡片背面內容）。
2. Wikidoc：從 Wikidoc 生成醫療問答對。提取帶有相關標題的段落，使用 Chat - GPT 3.5 根據標題生成問題，並將相應段落作為答案。此數據集仍在開發中，約 70% 的問答對在事實層面是正確的。
3. StackExchange：從 StackExchange 提取問答對，選取了五個類別（學術、生物信息學、生物學、健身和健康）中評分最高的問題。
4. ChatDoctor 數據集：使用了來自 ChatDoctor 的包含 200,000 個問答對的數據集，可在 https://github.com/Kent0n - Li/ChatDoctor 獲取。

💻 使用示例

基礎用法

要評估模型在特定數據集上的性能，可以使用 Hugging Face Transformers 庫的內置評估腳本。更多信息請參考評估指南。

可以使用 Hugging Face Transformers 庫將該模型用於推理任務，如問答和醫療對話。以下是一個使用該模型進行問答任務的示例：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-13b", tokenizer="medalpaca/medalpaca-13b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

📚 詳細文檔

侷限性

• 領域侷限性：該模型在醫療領域之外的表現可能不佳。
• 知識水平侷限性：訓練數據主要針對醫學生的知識水平，在滿足認證醫師需求方面可能存在限制。
• 實際應用侷限性：該模型尚未在實際應用中進行測試，其有效性和準確性目前未知。絕不能將其作為醫生意見的替代品，僅應將其視為研究工具。

📄 許可證

本項目採用 CC 許可證。