Medguanaco 65b GPTQ

🚀 Medguanaco 65b

Medguanaco 65b 是一个专门为医疗领域任务微调的大语言模型 LoRA，基于 650 亿参数的 Llama 的 Guanaco LORA，旨在提升问答和医疗对话任务的表现。

🚀 快速开始

加载模型步骤

使用 transformers 库加载模型：

# Some llama or alpaca model 65b
base_model = "nmitchko/medguanaco-65b-GPTQ"
model = LlamaForCausalLM.from_pretrained(
    base_model,    
    load_in_8bit=load_8bit,
    torch_dtype=torch.float16
)

✨ 主要特性

架构

nmitchko/medguanaco-65b-GPTQ 是专门为医疗领域任务进行微调的大语言模型 LoRA。它基于具有 650 亿参数的 Llama 的 Guanaco LORA。该模型的主要目标是改善问答和医疗对话任务。它使用 LoRA 进行训练，并量化为 8 位，以减少内存占用。

训练数据

本项目的训练数据来自多个来源：

1. Anki 闪卡：利用 Anki 闪卡自动生成问题（卡片正面）和答案（卡片背面）。
2. Wikidoc：从 Wikidoc 生成医疗问答对。提取带有相关标题的段落，并使用 Chat - GPT 3.5 从标题生成问题，相应段落作为答案。此数据集仍在开发中，约 70% 的问答对在事实方面是正确的。
3. StackExchange：从五个类别（学术、生物信息学、生物学、健身和健康）中提取评分最高的问题，形成问答对。
4. ChatDoctor 数据集：使用来自 ChatDoctor 的包含 200,000 个问答对的数据集，可在 https://github.com/Kent0n - Li/ChatDoctor 找到。

🔧 技术细节

局限性

• 领域局限性：该模型在医疗领域之外可能无法有效执行任务。
• 知识水平局限性：训练数据主要针对医学生的知识水平，在满足认证医师的需求时可能存在局限性。
• 实际应用未知性：该模型尚未在实际应用中进行测试，其有效性和准确性目前未知。

⚠️ 重要提示

该模型绝不能替代医生的意见，仅应作为研究工具使用。

📄 许可证

本项目采用 CC 许可证。