Medalpaca 7b

🚀 MedAlpaca 7b

MedAlpaca 7b是專門針對醫療領域任務進行微調的大型語言模型，能夠有效提升醫療問答和對話的效果。

🚀 快速開始

MedAlpaca 7b是專門為醫療領域任務微調的大型語言模型，基於LLaMA架構，擁有70億參數。下面將為你介紹它的架構、訓練數據、使用方法以及侷限性。

✨ 主要特性

• 基於LLaMA架構，專為醫療領域任務微調。
• 可用於醫療問答和對話等任務。

📚 詳細文檔

🔍 模型描述

🏗️ 架構

medalpaca-7b是專門針對醫療領域任務進行微調的大型語言模型。它基於LLaMA（Large Language Model Meta AI）構建，擁有70億參數。該模型的主要目標是提升問答和醫療對話任務的表現。

📊 訓練數據

本項目的訓練數據來源廣泛：

• 首先，使用Anki閃卡自動生成問題（卡片正面內容）和答案（卡片背面內容）。
• 其次，從Wikidoc生成醫療問答對。提取帶有相關標題的段落，使用Chat - GPT 3.5根據標題生成問題，並將相應段落作為答案。此數據集仍在開發中，我們認為約70%的問答對在事實方面是正確的。
• 第三，使用StackExchange提取問答對，從五個類別（學術界、生物信息學、生物學、健身和健康）中選取評分最高的問題。
• 此外，使用了來自ChatDoctor的數據集，包含200,000個問答對，可在https://github.com/Kent0n - Li/ChatDoctor獲取。

💻 使用示例

基礎用法

要評估模型在特定數據集上的性能，可以使用Hugging Face Transformers庫的內置評估腳本。更多信息請參考評估指南。

你可以使用Hugging Face Transformers庫將該模型用於推理任務，如問答和醫療對話。以下是一個使用該模型進行問答任務的示例：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-7b", tokenizer="medalpaca/medalpaca-7b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

⚠️ 侷限性

• 該模型在醫療領域之外的表現可能不佳。
• 訓練數據主要針對醫學生的知識水平，在滿足執業醫師需求方面可能存在侷限性。
• 該模型尚未在實際應用中進行測試，其有效性和準確性目前未知。絕不能將其作為醫生意見的替代品，僅應將其視為研究工具。

📊 評估結果

Open LLM Leaderboard評估結果 詳細結果可查看此處

📄 許可證

本項目採用CC許可協議。