Medalpaca 7b

🚀 MedAlpaca 7b

MedAlpaca 7b是专门针对医疗领域任务进行微调的大型语言模型，能够有效提升医疗问答和对话的效果。

🚀 快速开始

MedAlpaca 7b是专门为医疗领域任务微调的大型语言模型，基于LLaMA架构，拥有70亿参数。下面将为你介绍它的架构、训练数据、使用方法以及局限性。

✨ 主要特性

• 基于LLaMA架构，专为医疗领域任务微调。
• 可用于医疗问答和对话等任务。

📚 详细文档

🔍 模型描述

🏗️ 架构

medalpaca-7b是专门针对医疗领域任务进行微调的大型语言模型。它基于LLaMA（Large Language Model Meta AI）构建，拥有70亿参数。该模型的主要目标是提升问答和医疗对话任务的表现。

📊 训练数据

本项目的训练数据来源广泛：

• 首先，使用Anki闪卡自动生成问题（卡片正面内容）和答案（卡片背面内容）。
• 其次，从Wikidoc生成医疗问答对。提取带有相关标题的段落，使用Chat - GPT 3.5根据标题生成问题，并将相应段落作为答案。此数据集仍在开发中，我们认为约70%的问答对在事实方面是正确的。
• 第三，使用StackExchange提取问答对，从五个类别（学术界、生物信息学、生物学、健身和健康）中选取评分最高的问题。
• 此外，使用了来自ChatDoctor的数据集，包含200,000个问答对，可在https://github.com/Kent0n - Li/ChatDoctor获取。

💻 使用示例

基础用法

要评估模型在特定数据集上的性能，可以使用Hugging Face Transformers库的内置评估脚本。更多信息请参考评估指南。

你可以使用Hugging Face Transformers库将该模型用于推理任务，如问答和医疗对话。以下是一个使用该模型进行问答任务的示例：

from transformers import pipeline

pl = pipeline("text-generation", model="medalpaca/medalpaca-7b", tokenizer="medalpaca/medalpaca-7b")
question = "What are the symptoms of diabetes?"
context = "Diabetes is a metabolic disease that causes high blood sugar. The symptoms include increased thirst, frequent urination, and unexplained weight loss."
answer = pl(f"Context: {context}\n\nQuestion: {question}\n\nAnswer: ")
print(answer)

⚠️ 局限性

• 该模型在医疗领域之外的表现可能不佳。
• 训练数据主要针对医学生的知识水平，在满足执业医师需求方面可能存在局限性。
• 该模型尚未在实际应用中进行测试，其有效性和准确性目前未知。绝不能将其作为医生意见的替代品，仅应将其视为研究工具。

📊 评估结果

Open LLM Leaderboard评估结果 详细结果可查看此处

📄 许可证

本项目采用CC许可协议。