Mmed Llama 3 8B EnIns

🚀 MMedLM

本项目是用于医学领域的多语言语言模型，提供了官方模型权重，可用于医学问答等任务，在常见英文基准测试中表现出色。

🚀 快速开始

模型可以按如下方式加载：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns")
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMed-Llama-3-8B-EnIns", torch_dtype=torch.float16)

• 推理格式与 Llama 3-Instruct 类似，你可以在此处查看推理代码。
• 对于多项选择题和问答任务，建议使用以下指令：

from model import MedS_Llama3 # https://github.com/MAGIC-AI4Med/MedS-Ins/blob/main/Inference/model.py
sdk_api = MedS_Llama3(model_path="Henrychur/MMed-Llama-3-8B-EnIns", gpu_id=0)
INSTRUCTION = "Given a question and a list of options, select the correct answer from the options directly."
input_ = "Question: A mother brings her 3 - week - old infant to the pediatrician's office because she is concerned about his feeding habits. He was born without complications and has not had any medical problems up until this time. However, for the past 4 days, he has been fussy, is regurgitating all of his feeds, and his vomit is yellow in color. On physical exam, the child's abdomen is minimally distended but no other abnormalities are appreciated. Which of the following embryologic errors could account for this presentation?\nOptions: A: Abnormal migration of ventral pancreatic bud\tB: Complete failure of proximal duodenum to recanalize\tC: Abnormal hypertrophy of the pylorus\tD: Failure of lateral body folds to move ventrally and fuse in the midline\t"
results = sdk_api.chat([], input_, INSTRUCTION)
print(results)

✨ 主要特性

本仓库包含基于 MMed-Llama 3-8B 的 MMed-Llama 3-8B-EnIns。我们在英文指令微调数据集（来自 PMC-LLaMA）上对该模型进行了进一步微调，以便在常用的英文基准测试中与现有模型进行公平比较。

需要注意的是，MMed-Llama 3-8B-EnIns 仅在 pmc_llama_instructions 上进行了训练，这是一个专注于问答任务的英文医学 SFT 数据集。因此，该模型对多语言输入的响应能力仍然有限。

📚 详细文档

最新消息

• [2024.2.21] 我们的预印本论文在 ArXiv 上发布，你可以在此处查看研究结果。
• [2024.2.20] 我们发布了 MMedLM 和 MMedLM 2。通过在 MMedC 上进行自回归持续训练，这些模型与所有其他开源模型相比取得了更优的性能，甚至在 MMedBench 上可与 GPT - 4 相媲美。
• [2023.2.20] 我们发布了 MMedC，这是一个包含 255 亿个标记的多语言医学语料库。
• [2023.2.20] 我们发布了 MMedBench，这是一个新的带有推理依据的多语言医学多项选择题问答基准测试。你可以在此处查看排行榜。

常用英文基准测试评估

进一步预训练的 MMed-Llama3 在不同的英文基准测试的医学领域中也展现出了出色的性能。

📄 许可证

本项目使用 llama3 许可证。

📦 模型信息

📞 联系我们

如果您有任何问题，请随时联系 qiupengcheng@pjlab.org.cn。

📚 引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

GitHub 仓库 arXiv 论文