Mmedlm

🚀 MMedLM

MMedLM是一个多语言医学基础模型，为医学领域提供了强大的语言处理能力，基于InternLM进一步预训练，增强了医学领域知识。

🚀 快速开始

本仓库包含MMedLM，一个拥有70亿参数的多语言医学基础模型。MMedLM基于InternLM构建，并在MMedC（一个全面的多语言医学语料库）上进行了进一步的预训练，这增强了模型在医学领域的知识。

模型在MMedC上进行进一步预训练时使用了以下超参数：

• 迭代次数：15000
• 全局批次大小：512
• 截断长度：2048
• 学习率：2e - 5

可以按如下方式加载模型：

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("Henrychur/MMedLM", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Henrychur/MMedLM", torch_dtype=torch.float16, trust_remote_code=True)

⚠️ 重要提示

这是一个未经指令微调的基础模型。测试发现，使用最新版本的transformers会导致错误，建议使用transformers==4.28.1。

✨ 主要特性

• 多语言支持：支持英语、中文、日语、法语、俄语和西班牙语等多种语言。
• 医学领域增强：基于InternLM，在MMedC上进一步预训练，增强医学领域知识。
• 性能优越：MMedLM 2在MMedBench上的表现优于许多开源模型，甚至可与GPT - 4相媲美。

📚 详细文档

最新消息

• [2024.2.21] 我们的预印本论文已发布在ArXiv上，点击此处查看。
• [2024.2.20] 我们发布了MMedLM和MMedLM 2。MMedLM 2是一个更强大的多语言医学基础模型，经过了与MMedLM相同的医学数据增强流程。
• [2023.2.20] 我们发布了MMedC，一个包含255亿个标记的多语言医学语料库。
• [2023.2.20] 我们发布了MMedBench，一个新的多语言医学多项选择问答基准，带有推理过程。点击此处查看排行榜。

MMedBench评估结果

进一步预训练的MMedLM 2在不同语言的医学领域中展现出了出色的性能。

• GPT和Gemini通过API在零样本设置下进行评估。
• 开源模型在MMedBench的训练集上进行训练后再进行评估。

📄 许可证

本项目采用Apache - 2.0许可证。

👨‍💻 联系我们

如果您有任何问题，请随时联系qiupengcheng@pjlab.org.cn。

📚 引用

@misc{qiu2024building,
      title={Towards Building Multilingual Language Model for Medicine}, 
      author={Pengcheng Qiu and Chaoyi Wu and Xiaoman Zhang and Weixiong Lin and Haicheng Wang and Ya Zhang and Yanfeng Wang and Weidi Xie},
      year={2024},
      eprint={2402.13963},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}